{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.2,
  "eval_steps": 500,
  "global_step": 600,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02,
      "grad_norm": 0.28473100066185,
      "learning_rate": 4.966666666666667e-05,
      "loss": 1.3783,
      "step": 10
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.09849760681390762,
      "learning_rate": 4.933333333333334e-05,
      "loss": 1.319,
      "step": 20
    },
    {
      "epoch": 0.06,
      "grad_norm": 0.12863746285438538,
      "learning_rate": 4.9e-05,
      "loss": 1.4715,
      "step": 30
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.16797196865081787,
      "learning_rate": 4.866666666666667e-05,
      "loss": 1.4091,
      "step": 40
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.2071741819381714,
      "learning_rate": 4.8333333333333334e-05,
      "loss": 1.5629,
      "step": 50
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.11463215947151184,
      "learning_rate": 4.8e-05,
      "loss": 1.4113,
      "step": 60
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.4405534565448761,
      "learning_rate": 4.766666666666667e-05,
      "loss": 1.5984,
      "step": 70
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.12359176576137543,
      "learning_rate": 4.7333333333333336e-05,
      "loss": 1.6352,
      "step": 80
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.4452320635318756,
      "learning_rate": 4.7e-05,
      "loss": 1.4261,
      "step": 90
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.15276187658309937,
      "learning_rate": 4.666666666666667e-05,
      "loss": 1.575,
      "step": 100
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.24705903232097626,
      "learning_rate": 4.633333333333333e-05,
      "loss": 1.3795,
      "step": 110
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.1368730366230011,
      "learning_rate": 4.600000000000001e-05,
      "loss": 1.4378,
      "step": 120
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.40468767285346985,
      "learning_rate": 4.566666666666667e-05,
      "loss": 1.4759,
      "step": 130
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.18973663449287415,
      "learning_rate": 4.5333333333333335e-05,
      "loss": 1.7495,
      "step": 140
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.19974994659423828,
      "learning_rate": 4.5e-05,
      "loss": 1.4329,
      "step": 150
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.1658446341753006,
      "learning_rate": 4.466666666666667e-05,
      "loss": 1.4386,
      "step": 160
    },
    {
      "epoch": 0.34,
      "grad_norm": 0.20768527686595917,
      "learning_rate": 4.433333333333334e-05,
      "loss": 1.5677,
      "step": 170
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.12603804469108582,
      "learning_rate": 4.4000000000000006e-05,
      "loss": 1.3503,
      "step": 180
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.11383192241191864,
      "learning_rate": 4.3666666666666666e-05,
      "loss": 1.536,
      "step": 190
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.1635710746049881,
      "learning_rate": 4.3333333333333334e-05,
      "loss": 1.2382,
      "step": 200
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.1817488968372345,
      "learning_rate": 4.3e-05,
      "loss": 1.442,
      "step": 210
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.22358669340610504,
      "learning_rate": 4.266666666666667e-05,
      "loss": 1.6387,
      "step": 220
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.242269828915596,
      "learning_rate": 4.233333333333334e-05,
      "loss": 1.289,
      "step": 230
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.09938176721334457,
      "learning_rate": 4.2e-05,
      "loss": 1.6958,
      "step": 240
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.24452297389507294,
      "learning_rate": 4.166666666666667e-05,
      "loss": 1.7457,
      "step": 250
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.6737746596336365,
      "learning_rate": 4.133333333333333e-05,
      "loss": 1.4782,
      "step": 260
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.3342950642108917,
      "learning_rate": 4.1e-05,
      "loss": 1.5557,
      "step": 270
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.2859005928039551,
      "learning_rate": 4.066666666666667e-05,
      "loss": 1.6331,
      "step": 280
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.196051225066185,
      "learning_rate": 4.0333333333333336e-05,
      "loss": 1.1884,
      "step": 290
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.13173438608646393,
      "learning_rate": 4e-05,
      "loss": 1.5273,
      "step": 300
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.15074381232261658,
      "learning_rate": 3.966666666666667e-05,
      "loss": 1.2017,
      "step": 310
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.43569642305374146,
      "learning_rate": 3.933333333333333e-05,
      "loss": 1.4196,
      "step": 320
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.13135027885437012,
      "learning_rate": 3.9000000000000006e-05,
      "loss": 1.2985,
      "step": 330
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.683555543422699,
      "learning_rate": 3.866666666666667e-05,
      "loss": 2.0534,
      "step": 340
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.18177451193332672,
      "learning_rate": 3.8333333333333334e-05,
      "loss": 1.4249,
      "step": 350
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.8321959376335144,
      "learning_rate": 3.8e-05,
      "loss": 1.3113,
      "step": 360
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.2439054697751999,
      "learning_rate": 3.766666666666667e-05,
      "loss": 1.569,
      "step": 370
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.3370145261287689,
      "learning_rate": 3.733333333333334e-05,
      "loss": 1.6309,
      "step": 380
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.17391540110111237,
      "learning_rate": 3.7e-05,
      "loss": 1.2326,
      "step": 390
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.31036776304244995,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 1.267,
      "step": 400
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.16713590919971466,
      "learning_rate": 3.633333333333333e-05,
      "loss": 1.2097,
      "step": 410
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.6574969291687012,
      "learning_rate": 3.6e-05,
      "loss": 1.7074,
      "step": 420
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.21429121494293213,
      "learning_rate": 3.566666666666667e-05,
      "loss": 1.4363,
      "step": 430
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.35936588048934937,
      "learning_rate": 3.5333333333333336e-05,
      "loss": 1.2745,
      "step": 440
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.46381500363349915,
      "learning_rate": 3.5e-05,
      "loss": 1.3376,
      "step": 450
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.1676020473241806,
      "learning_rate": 3.466666666666667e-05,
      "loss": 1.4441,
      "step": 460
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.17079180479049683,
      "learning_rate": 3.433333333333333e-05,
      "loss": 1.4486,
      "step": 470
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.35042911767959595,
      "learning_rate": 3.4000000000000007e-05,
      "loss": 1.6119,
      "step": 480
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.13189171254634857,
      "learning_rate": 3.366666666666667e-05,
      "loss": 1.3443,
      "step": 490
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.48539966344833374,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.3611,
      "step": 500
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.28593960404396057,
      "learning_rate": 3.3e-05,
      "loss": 1.6098,
      "step": 510
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.16387881338596344,
      "learning_rate": 3.266666666666667e-05,
      "loss": 1.3215,
      "step": 520
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.17869319021701813,
      "learning_rate": 3.233333333333333e-05,
      "loss": 1.6028,
      "step": 530
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.26113930344581604,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 1.4372,
      "step": 540
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.16049513220787048,
      "learning_rate": 3.1666666666666666e-05,
      "loss": 1.3916,
      "step": 550
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.14353357255458832,
      "learning_rate": 3.1333333333333334e-05,
      "loss": 1.3971,
      "step": 560
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.348002552986145,
      "learning_rate": 3.1e-05,
      "loss": 1.5419,
      "step": 570
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.4313276410102844,
      "learning_rate": 3.066666666666667e-05,
      "loss": 1.4511,
      "step": 580
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.20719008147716522,
      "learning_rate": 3.0333333333333337e-05,
      "loss": 1.3274,
      "step": 590
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.21788401901721954,
      "learning_rate": 3e-05,
      "loss": 1.2425,
      "step": 600
    }
  ],
  "logging_steps": 10,
  "max_steps": 1500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 100,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 639710342219520.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}