{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.64,
  "eval_steps": 500,
  "global_step": 1650,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.032,
      "grad_norm": 671614.75,
      "learning_rate": 4.9493333333333336e-05,
      "loss": 2.1669,
      "step": 20
    },
    {
      "epoch": 0.064,
      "grad_norm": 41173.5,
      "learning_rate": 4.896e-05,
      "loss": 0.5516,
      "step": 40
    },
    {
      "epoch": 0.096,
      "grad_norm": 14334.6923828125,
      "learning_rate": 4.842666666666667e-05,
      "loss": 0.2249,
      "step": 60
    },
    {
      "epoch": 0.128,
      "grad_norm": 14753.2421875,
      "learning_rate": 4.789333333333334e-05,
      "loss": 0.1644,
      "step": 80
    },
    {
      "epoch": 0.16,
      "grad_norm": 12797.7333984375,
      "learning_rate": 4.736000000000001e-05,
      "loss": 0.103,
      "step": 100
    },
    {
      "epoch": 0.192,
      "grad_norm": 12743.939453125,
      "learning_rate": 4.682666666666667e-05,
      "loss": 0.0684,
      "step": 120
    },
    {
      "epoch": 0.224,
      "grad_norm": 10378.1640625,
      "learning_rate": 4.629333333333333e-05,
      "loss": 0.0495,
      "step": 140
    },
    {
      "epoch": 0.256,
      "grad_norm": 8000.236328125,
      "learning_rate": 4.576e-05,
      "loss": 0.0404,
      "step": 160
    },
    {
      "epoch": 0.288,
      "grad_norm": 8669.037109375,
      "learning_rate": 4.5226666666666665e-05,
      "loss": 0.0356,
      "step": 180
    },
    {
      "epoch": 0.32,
      "grad_norm": 8630.375,
      "learning_rate": 4.4693333333333335e-05,
      "loss": 0.0291,
      "step": 200
    },
    {
      "epoch": 0.352,
      "grad_norm": 8318.3955078125,
      "learning_rate": 4.4160000000000004e-05,
      "loss": 0.0285,
      "step": 220
    },
    {
      "epoch": 0.384,
      "grad_norm": 7282.09619140625,
      "learning_rate": 4.3626666666666674e-05,
      "loss": 0.0282,
      "step": 240
    },
    {
      "epoch": 0.416,
      "grad_norm": 7333.845703125,
      "learning_rate": 4.3093333333333336e-05,
      "loss": 0.028,
      "step": 260
    },
    {
      "epoch": 0.448,
      "grad_norm": 8852.5693359375,
      "learning_rate": 4.256e-05,
      "loss": 0.0312,
      "step": 280
    },
    {
      "epoch": 0.48,
      "grad_norm": 6368.5595703125,
      "learning_rate": 4.202666666666667e-05,
      "loss": 0.0279,
      "step": 300
    },
    {
      "epoch": 0.512,
      "grad_norm": 7761.8134765625,
      "learning_rate": 4.149333333333333e-05,
      "loss": 0.0277,
      "step": 320
    },
    {
      "epoch": 0.544,
      "grad_norm": 6672.0615234375,
      "learning_rate": 4.096e-05,
      "loss": 0.0276,
      "step": 340
    },
    {
      "epoch": 0.576,
      "grad_norm": 7834.865234375,
      "learning_rate": 4.042666666666667e-05,
      "loss": 0.0276,
      "step": 360
    },
    {
      "epoch": 0.608,
      "grad_norm": 8973.3291015625,
      "learning_rate": 3.989333333333333e-05,
      "loss": 0.0303,
      "step": 380
    },
    {
      "epoch": 0.64,
      "grad_norm": 5775.8837890625,
      "learning_rate": 3.936e-05,
      "loss": 0.0275,
      "step": 400
    },
    {
      "epoch": 0.672,
      "grad_norm": 8265.2255859375,
      "learning_rate": 3.8826666666666665e-05,
      "loss": 0.0275,
      "step": 420
    },
    {
      "epoch": 0.704,
      "grad_norm": 6458.6533203125,
      "learning_rate": 3.8293333333333335e-05,
      "loss": 0.0275,
      "step": 440
    },
    {
      "epoch": 0.736,
      "grad_norm": 7894.96435546875,
      "learning_rate": 3.776e-05,
      "loss": 0.029,
      "step": 460
    },
    {
      "epoch": 0.768,
      "grad_norm": 7347.64013671875,
      "learning_rate": 3.7226666666666674e-05,
      "loss": 0.0275,
      "step": 480
    },
    {
      "epoch": 0.8,
      "grad_norm": 6285.21630859375,
      "learning_rate": 3.669333333333334e-05,
      "loss": 0.0275,
      "step": 500
    },
    {
      "epoch": 0.832,
      "grad_norm": 8621.4580078125,
      "learning_rate": 3.616e-05,
      "loss": 0.0274,
      "step": 520
    },
    {
      "epoch": 0.864,
      "grad_norm": 5599.4931640625,
      "learning_rate": 3.562666666666667e-05,
      "loss": 0.0293,
      "step": 540
    },
    {
      "epoch": 0.896,
      "grad_norm": 6125.87890625,
      "learning_rate": 3.509333333333333e-05,
      "loss": 0.0272,
      "step": 560
    },
    {
      "epoch": 0.928,
      "grad_norm": 6572.81689453125,
      "learning_rate": 3.456e-05,
      "loss": 0.0272,
      "step": 580
    },
    {
      "epoch": 0.96,
      "grad_norm": 6079.21435546875,
      "learning_rate": 3.402666666666667e-05,
      "loss": 0.0298,
      "step": 600
    },
    {
      "epoch": 0.992,
      "grad_norm": 7548.86474609375,
      "learning_rate": 3.349333333333334e-05,
      "loss": 0.0302,
      "step": 620
    },
    {
      "epoch": 1.024,
      "grad_norm": 5836.685546875,
      "learning_rate": 3.296e-05,
      "loss": 0.0296,
      "step": 640
    },
    {
      "epoch": 1.056,
      "grad_norm": 5482.8134765625,
      "learning_rate": 3.2426666666666666e-05,
      "loss": 0.0291,
      "step": 660
    },
    {
      "epoch": 1.088,
      "grad_norm": 7803.9892578125,
      "learning_rate": 3.1893333333333335e-05,
      "loss": 0.0271,
      "step": 680
    },
    {
      "epoch": 1.12,
      "grad_norm": 5504.576171875,
      "learning_rate": 3.136e-05,
      "loss": 0.0272,
      "step": 700
    },
    {
      "epoch": 1.152,
      "grad_norm": 6076.79541015625,
      "learning_rate": 3.082666666666667e-05,
      "loss": 0.0273,
      "step": 720
    },
    {
      "epoch": 1.184,
      "grad_norm": 5411.95458984375,
      "learning_rate": 3.0293333333333334e-05,
      "loss": 0.0297,
      "step": 740
    },
    {
      "epoch": 1.216,
      "grad_norm": 4871.5166015625,
      "learning_rate": 2.976e-05,
      "loss": 0.027,
      "step": 760
    },
    {
      "epoch": 1.248,
      "grad_norm": 4601.7197265625,
      "learning_rate": 2.922666666666667e-05,
      "loss": 0.0295,
      "step": 780
    },
    {
      "epoch": 1.28,
      "grad_norm": 5593.90380859375,
      "learning_rate": 2.8693333333333332e-05,
      "loss": 0.0271,
      "step": 800
    },
    {
      "epoch": 1.312,
      "grad_norm": 6107.31298828125,
      "learning_rate": 2.816e-05,
      "loss": 0.0273,
      "step": 820
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 6053.76171875,
      "learning_rate": 2.7626666666666668e-05,
      "loss": 0.0272,
      "step": 840
    },
    {
      "epoch": 1.376,
      "grad_norm": 6232.923828125,
      "learning_rate": 2.7093333333333337e-05,
      "loss": 0.0294,
      "step": 860
    },
    {
      "epoch": 1.408,
      "grad_norm": 5416.33056640625,
      "learning_rate": 2.6560000000000003e-05,
      "loss": 0.0271,
      "step": 880
    },
    {
      "epoch": 1.44,
      "grad_norm": 5725.27197265625,
      "learning_rate": 2.6026666666666666e-05,
      "loss": 0.0272,
      "step": 900
    },
    {
      "epoch": 1.472,
      "grad_norm": 5987.8583984375,
      "learning_rate": 2.5493333333333335e-05,
      "loss": 0.0272,
      "step": 920
    },
    {
      "epoch": 1.504,
      "grad_norm": 6128.3720703125,
      "learning_rate": 2.496e-05,
      "loss": 0.0272,
      "step": 940
    },
    {
      "epoch": 1.536,
      "grad_norm": 5148.74267578125,
      "learning_rate": 2.4426666666666668e-05,
      "loss": 0.0272,
      "step": 960
    },
    {
      "epoch": 1.568,
      "grad_norm": 5796.38916015625,
      "learning_rate": 2.3893333333333334e-05,
      "loss": 0.029,
      "step": 980
    },
    {
      "epoch": 1.6,
      "grad_norm": 6873.32763671875,
      "learning_rate": 2.336e-05,
      "loss": 0.0271,
      "step": 1000
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 5035.609375,
      "learning_rate": 2.282666666666667e-05,
      "loss": 0.0271,
      "step": 1020
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 7524.55810546875,
      "learning_rate": 2.2293333333333336e-05,
      "loss": 0.0272,
      "step": 1040
    },
    {
      "epoch": 1.696,
      "grad_norm": 6007.6005859375,
      "learning_rate": 2.176e-05,
      "loss": 0.0271,
      "step": 1060
    },
    {
      "epoch": 1.728,
      "grad_norm": 5263.6826171875,
      "learning_rate": 2.1226666666666668e-05,
      "loss": 0.027,
      "step": 1080
    },
    {
      "epoch": 1.76,
      "grad_norm": 6018.93505859375,
      "learning_rate": 2.0693333333333334e-05,
      "loss": 0.0271,
      "step": 1100
    },
    {
      "epoch": 1.792,
      "grad_norm": 5651.1494140625,
      "learning_rate": 2.016e-05,
      "loss": 0.0271,
      "step": 1120
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 6097.88623046875,
      "learning_rate": 1.962666666666667e-05,
      "loss": 0.0294,
      "step": 1140
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 5452.13671875,
      "learning_rate": 1.9093333333333336e-05,
      "loss": 0.0272,
      "step": 1160
    },
    {
      "epoch": 1.888,
      "grad_norm": 5253.505859375,
      "learning_rate": 1.856e-05,
      "loss": 0.027,
      "step": 1180
    },
    {
      "epoch": 1.92,
      "grad_norm": 5817.494140625,
      "learning_rate": 1.8026666666666668e-05,
      "loss": 0.0271,
      "step": 1200
    },
    {
      "epoch": 1.952,
      "grad_norm": 6238.4326171875,
      "learning_rate": 1.7493333333333334e-05,
      "loss": 0.027,
      "step": 1220
    },
    {
      "epoch": 1.984,
      "grad_norm": 5733.29736328125,
      "learning_rate": 1.696e-05,
      "loss": 0.027,
      "step": 1240
    },
    {
      "epoch": 2.016,
      "grad_norm": 5119.052734375,
      "learning_rate": 1.6426666666666666e-05,
      "loss": 0.027,
      "step": 1260
    },
    {
      "epoch": 2.048,
      "grad_norm": 6578.64453125,
      "learning_rate": 1.5893333333333336e-05,
      "loss": 0.0271,
      "step": 1280
    },
    {
      "epoch": 2.08,
      "grad_norm": 5256.97998046875,
      "learning_rate": 1.536e-05,
      "loss": 0.027,
      "step": 1300
    },
    {
      "epoch": 2.112,
      "grad_norm": 4901.861328125,
      "learning_rate": 1.4826666666666666e-05,
      "loss": 0.0269,
      "step": 1320
    },
    {
      "epoch": 2.144,
      "grad_norm": 5661.53173828125,
      "learning_rate": 1.4293333333333334e-05,
      "loss": 0.027,
      "step": 1340
    },
    {
      "epoch": 2.176,
      "grad_norm": 7117.23974609375,
      "learning_rate": 1.376e-05,
      "loss": 0.0271,
      "step": 1360
    },
    {
      "epoch": 2.208,
      "grad_norm": 5406.29833984375,
      "learning_rate": 1.3226666666666668e-05,
      "loss": 0.0288,
      "step": 1380
    },
    {
      "epoch": 2.24,
      "grad_norm": 6967.7265625,
      "learning_rate": 1.2693333333333334e-05,
      "loss": 0.0295,
      "step": 1400
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 5049.2099609375,
      "learning_rate": 1.216e-05,
      "loss": 0.027,
      "step": 1420
    },
    {
      "epoch": 2.304,
      "grad_norm": 5249.7470703125,
      "learning_rate": 1.1626666666666668e-05,
      "loss": 0.0297,
      "step": 1440
    },
    {
      "epoch": 2.336,
      "grad_norm": 5367.24365234375,
      "learning_rate": 1.1093333333333333e-05,
      "loss": 0.0268,
      "step": 1460
    },
    {
      "epoch": 2.368,
      "grad_norm": 9837.466796875,
      "learning_rate": 1.056e-05,
      "loss": 0.027,
      "step": 1480
    },
    {
      "epoch": 2.4,
      "grad_norm": 6396.8125,
      "learning_rate": 1.0026666666666668e-05,
      "loss": 0.0295,
      "step": 1500
    },
    {
      "epoch": 2.432,
      "grad_norm": 5881.74072265625,
      "learning_rate": 9.493333333333333e-06,
      "loss": 0.0304,
      "step": 1520
    },
    {
      "epoch": 2.464,
      "grad_norm": 4874.60498046875,
      "learning_rate": 8.96e-06,
      "loss": 0.0269,
      "step": 1540
    },
    {
      "epoch": 2.496,
      "grad_norm": 5798.00390625,
      "learning_rate": 8.426666666666667e-06,
      "loss": 0.027,
      "step": 1560
    },
    {
      "epoch": 2.528,
      "grad_norm": 5054.810546875,
      "learning_rate": 7.893333333333333e-06,
      "loss": 0.0298,
      "step": 1580
    },
    {
      "epoch": 2.56,
      "grad_norm": 5496.38818359375,
      "learning_rate": 7.36e-06,
      "loss": 0.0293,
      "step": 1600
    },
    {
      "epoch": 2.592,
      "grad_norm": 6336.7021484375,
      "learning_rate": 6.826666666666668e-06,
      "loss": 0.0283,
      "step": 1620
    },
    {
      "epoch": 2.624,
      "grad_norm": 5287.20361328125,
      "learning_rate": 6.293333333333333e-06,
      "loss": 0.027,
      "step": 1640
    }
  ],
  "logging_steps": 20,
  "max_steps": 1875,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 50,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 4.19955669467136e+16,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}