| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 66.66666666666667, | |
| "eval_steps": 500, | |
| "global_step": 8000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 10.69120287187818, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 15.9493, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 22.82634960584204, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 9.53, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 13.106233095259126, | |
| "learning_rate": 4.8e-05, | |
| "loss": 6.1435, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 5.469948947814707, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 5.74, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 4.8806100501545835, | |
| "learning_rate": 8e-05, | |
| "loss": 5.6581, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 5.544107439802835, | |
| "learning_rate": 7.999970720328831e-05, | |
| "loss": 5.4967, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 4.231586734777548, | |
| "learning_rate": 7.999882881772551e-05, | |
| "loss": 5.3408, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 2.7375169413839275, | |
| "learning_rate": 7.999736485702831e-05, | |
| "loss": 5.2763, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 5.84936547383844, | |
| "learning_rate": 7.999531534405768e-05, | |
| "loss": 5.2421, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 5.086186697344019, | |
| "learning_rate": 7.999268031081841e-05, | |
| "loss": 5.1431, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 21.539673861245628, | |
| "learning_rate": 7.998945979845876e-05, | |
| "loss": 5.0961, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 5.283608897310278, | |
| "learning_rate": 7.998565385726968e-05, | |
| "loss": 5.0816, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 9.612027628668018, | |
| "learning_rate": 7.998126254668407e-05, | |
| "loss": 4.9914, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 3.9815029189709774, | |
| "learning_rate": 7.997628593527586e-05, | |
| "loss": 4.9052, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 5.226061787020683, | |
| "learning_rate": 7.997072410075895e-05, | |
| "loss": 4.8511, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 6.124198705458172, | |
| "learning_rate": 7.996457712998597e-05, | |
| "loss": 4.8138, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 6.111648643820079, | |
| "learning_rate": 7.995784511894694e-05, | |
| "loss": 4.7302, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 4.652461206601369, | |
| "learning_rate": 7.995052817276779e-05, | |
| "loss": 4.6739, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 4.873996337864204, | |
| "learning_rate": 7.994262640570861e-05, | |
| "loss": 4.6128, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 7.191160911672632, | |
| "learning_rate": 7.993413994116206e-05, | |
| "loss": 4.5165, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 3.648651835580528, | |
| "learning_rate": 7.992506891165125e-05, | |
| "loss": 4.4564, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 4.224041142653454, | |
| "learning_rate": 7.991541345882781e-05, | |
| "loss": 4.4279, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 6.381654744104323, | |
| "learning_rate": 7.990517373346957e-05, | |
| "loss": 4.3554, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 5.616705649643421, | |
| "learning_rate": 7.989434989547832e-05, | |
| "loss": 4.322, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 7.000242229085301, | |
| "learning_rate": 7.988294211387719e-05, | |
| "loss": 4.25, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 3.664078897467973, | |
| "learning_rate": 7.987095056680811e-05, | |
| "loss": 4.2281, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 3.4544359023231674, | |
| "learning_rate": 7.985837544152896e-05, | |
| "loss": 4.1907, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 3.4264369150118834, | |
| "learning_rate": 7.984521693441071e-05, | |
| "loss": 4.1579, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 4.416025990976334, | |
| "learning_rate": 7.983147525093428e-05, | |
| "loss": 4.1142, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 4.409978709266806, | |
| "learning_rate": 7.981715060568741e-05, | |
| "loss": 4.1023, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 2.443659116806268, | |
| "learning_rate": 7.980224322236123e-05, | |
| "loss": 4.0797, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 7.06642163529627, | |
| "learning_rate": 7.978675333374685e-05, | |
| "loss": 4.1566, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 2.6991971977024876, | |
| "learning_rate": 7.977068118173162e-05, | |
| "loss": 4.1298, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 2.505384749600403, | |
| "learning_rate": 7.975402701729546e-05, | |
| "loss": 4.0501, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 2.839728057897456, | |
| "learning_rate": 7.97367911005069e-05, | |
| "loss": 4.0169, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 3.2850941256388135, | |
| "learning_rate": 7.971897370051896e-05, | |
| "loss": 3.9849, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 3.0833333333333335, | |
| "grad_norm": 2.9435053373417674, | |
| "learning_rate": 7.970057509556505e-05, | |
| "loss": 3.9666, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 2.5080475028618037, | |
| "learning_rate": 7.968159557295457e-05, | |
| "loss": 3.9474, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 2.118313985876794, | |
| "learning_rate": 7.966203542906841e-05, | |
| "loss": 3.929, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 3.3947996816962873, | |
| "learning_rate": 7.964189496935435e-05, | |
| "loss": 3.9315, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 3.4166666666666665, | |
| "grad_norm": 2.870025145257724, | |
| "learning_rate": 7.962117450832225e-05, | |
| "loss": 3.9087, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 2.2738401705251294, | |
| "learning_rate": 7.959987436953921e-05, | |
| "loss": 3.8955, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 3.5833333333333335, | |
| "grad_norm": 2.2888061588216493, | |
| "learning_rate": 7.957799488562449e-05, | |
| "loss": 3.8677, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 2.230044456517774, | |
| "learning_rate": 7.955553639824423e-05, | |
| "loss": 3.8591, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 3.2063470777423295, | |
| "learning_rate": 7.953249925810626e-05, | |
| "loss": 3.8458, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 2.985342617851337, | |
| "learning_rate": 7.950888382495452e-05, | |
| "loss": 3.8228, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 3.9166666666666665, | |
| "grad_norm": 2.970011392950433, | |
| "learning_rate": 7.948469046756344e-05, | |
| "loss": 3.8264, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 1.9503469011878745, | |
| "learning_rate": 7.945991956373229e-05, | |
| "loss": 3.8327, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 4.083333333333333, | |
| "grad_norm": 2.0481300292012987, | |
| "learning_rate": 7.943457150027913e-05, | |
| "loss": 3.8021, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 2.5113709299412355, | |
| "learning_rate": 7.940864667303489e-05, | |
| "loss": 3.7802, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 2.0524457298473218, | |
| "learning_rate": 7.938214548683712e-05, | |
| "loss": 3.7627, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 1.9938155160501276, | |
| "learning_rate": 7.935506835552368e-05, | |
| "loss": 3.7409, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 4.416666666666667, | |
| "grad_norm": 2.1064570837350747, | |
| "learning_rate": 7.932741570192633e-05, | |
| "loss": 3.7214, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 2.025555065987568, | |
| "learning_rate": 7.929918795786404e-05, | |
| "loss": 3.732, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 2.709933839954613, | |
| "learning_rate": 7.927038556413631e-05, | |
| "loss": 3.7398, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 2.42092719451456, | |
| "learning_rate": 7.924100897051629e-05, | |
| "loss": 3.7493, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 1.852940686276582, | |
| "learning_rate": 7.921105863574369e-05, | |
| "loss": 3.7096, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 2.056755968357161, | |
| "learning_rate": 7.918053502751772e-05, | |
| "loss": 3.686, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 4.916666666666667, | |
| "grad_norm": 1.638292598366714, | |
| "learning_rate": 7.914943862248966e-05, | |
| "loss": 3.6856, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 1.9898414710652992, | |
| "learning_rate": 7.911776990625551e-05, | |
| "loss": 3.7035, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 5.083333333333333, | |
| "grad_norm": 2.276421021389931, | |
| "learning_rate": 7.908552937334843e-05, | |
| "loss": 3.6828, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 5.166666666666667, | |
| "grad_norm": 1.6469969036580425, | |
| "learning_rate": 7.905271752723088e-05, | |
| "loss": 3.6722, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 5.25, | |
| "grad_norm": 1.7285627972906412, | |
| "learning_rate": 7.901933488028692e-05, | |
| "loss": 3.6606, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 1.8276311745382445, | |
| "learning_rate": 7.898538195381413e-05, | |
| "loss": 3.6777, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 5.416666666666667, | |
| "grad_norm": 2.1083236900179414, | |
| "learning_rate": 7.895085927801541e-05, | |
| "loss": 3.6559, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 5.5, | |
| "grad_norm": 1.9425517642121346, | |
| "learning_rate": 7.891576739199084e-05, | |
| "loss": 3.6598, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 5.583333333333333, | |
| "grad_norm": 1.7969571965532476, | |
| "learning_rate": 7.888010684372915e-05, | |
| "loss": 3.6515, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 5.666666666666667, | |
| "grad_norm": 1.6749930139652152, | |
| "learning_rate": 7.884387819009922e-05, | |
| "loss": 3.651, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 5.75, | |
| "grad_norm": 1.6559532907413008, | |
| "learning_rate": 7.880708199684133e-05, | |
| "loss": 3.6361, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 5.833333333333333, | |
| "grad_norm": 1.7251387719988813, | |
| "learning_rate": 7.87697188385584e-05, | |
| "loss": 3.6381, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 5.916666666666667, | |
| "grad_norm": 1.612517908277797, | |
| "learning_rate": 7.873178929870695e-05, | |
| "loss": 3.6354, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "grad_norm": 1.5055848896896002, | |
| "learning_rate": 7.869329396958801e-05, | |
| "loss": 3.6331, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 6.083333333333333, | |
| "grad_norm": 1.9308612666814398, | |
| "learning_rate": 7.86542334523379e-05, | |
| "loss": 3.6152, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 6.166666666666667, | |
| "grad_norm": 1.7506091556288297, | |
| "learning_rate": 7.861460835691881e-05, | |
| "loss": 3.6234, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 6.25, | |
| "grad_norm": 1.6540042839133196, | |
| "learning_rate": 7.857441930210928e-05, | |
| "loss": 3.6152, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 6.333333333333333, | |
| "grad_norm": 1.6543473165088813, | |
| "learning_rate": 7.853366691549454e-05, | |
| "loss": 3.6161, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 6.416666666666667, | |
| "grad_norm": 1.5561210119266964, | |
| "learning_rate": 7.849235183345669e-05, | |
| "loss": 3.604, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 6.5, | |
| "grad_norm": 1.6592745964292923, | |
| "learning_rate": 7.845047470116485e-05, | |
| "loss": 3.6111, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 6.583333333333333, | |
| "grad_norm": 1.6735816159777643, | |
| "learning_rate": 7.840803617256494e-05, | |
| "loss": 3.5863, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 1.5758932971220432, | |
| "learning_rate": 7.836503691036959e-05, | |
| "loss": 3.5841, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 6.75, | |
| "grad_norm": 1.678991910045916, | |
| "learning_rate": 7.832147758604775e-05, | |
| "loss": 3.5913, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 6.833333333333333, | |
| "grad_norm": 1.5565579917733678, | |
| "learning_rate": 7.827735887981415e-05, | |
| "loss": 3.5978, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 6.916666666666667, | |
| "grad_norm": 1.4982863014797212, | |
| "learning_rate": 7.823268148061884e-05, | |
| "loss": 3.5828, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "grad_norm": 1.8357143185283156, | |
| "learning_rate": 7.818744608613617e-05, | |
| "loss": 3.5942, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 7.083333333333333, | |
| "grad_norm": 1.6705162730516196, | |
| "learning_rate": 7.814165340275418e-05, | |
| "loss": 3.5679, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 7.166666666666667, | |
| "grad_norm": 1.628095246553836, | |
| "learning_rate": 7.809530414556335e-05, | |
| "loss": 3.5652, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 7.25, | |
| "grad_norm": 1.5686943105106523, | |
| "learning_rate": 7.804839903834557e-05, | |
| "loss": 3.5628, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 7.333333333333333, | |
| "grad_norm": 1.4373135653134912, | |
| "learning_rate": 7.800093881356278e-05, | |
| "loss": 3.5687, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 7.416666666666667, | |
| "grad_norm": 1.5571168867372809, | |
| "learning_rate": 7.79529242123455e-05, | |
| "loss": 3.5619, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 7.5, | |
| "grad_norm": 1.6586663954822487, | |
| "learning_rate": 7.790435598448135e-05, | |
| "loss": 3.5572, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 7.583333333333333, | |
| "grad_norm": 1.5795382979176615, | |
| "learning_rate": 7.785523488840324e-05, | |
| "loss": 3.5519, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 7.666666666666667, | |
| "grad_norm": 1.4556177559554009, | |
| "learning_rate": 7.780556169117757e-05, | |
| "loss": 3.5626, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 7.75, | |
| "grad_norm": 1.4979263913719212, | |
| "learning_rate": 7.775533716849233e-05, | |
| "loss": 3.546, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 7.833333333333333, | |
| "grad_norm": 1.6561206551194736, | |
| "learning_rate": 7.770456210464481e-05, | |
| "loss": 3.5396, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 7.916666666666667, | |
| "grad_norm": 1.8202168844757929, | |
| "learning_rate": 7.765323729252954e-05, | |
| "loss": 3.5413, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "grad_norm": 1.7671398314936806, | |
| "learning_rate": 7.760136353362576e-05, | |
| "loss": 3.5462, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 8.083333333333334, | |
| "grad_norm": 1.3593671951946833, | |
| "learning_rate": 7.7548941637985e-05, | |
| "loss": 3.5337, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 8.166666666666666, | |
| "grad_norm": 1.566320631013195, | |
| "learning_rate": 7.749597242421838e-05, | |
| "loss": 3.5277, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 8.25, | |
| "grad_norm": 1.4949354663048628, | |
| "learning_rate": 7.744245671948386e-05, | |
| "loss": 3.5366, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 1.483844300818949, | |
| "learning_rate": 7.738839535947331e-05, | |
| "loss": 3.5184, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 8.416666666666666, | |
| "grad_norm": 1.5289444206669671, | |
| "learning_rate": 7.733378918839942e-05, | |
| "loss": 3.5275, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 8.5, | |
| "grad_norm": 1.5534295595158358, | |
| "learning_rate": 7.727863905898261e-05, | |
| "loss": 3.5203, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 8.583333333333334, | |
| "grad_norm": 1.6909482128711277, | |
| "learning_rate": 7.72229458324376e-05, | |
| "loss": 3.5235, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 8.666666666666666, | |
| "grad_norm": 1.4794595544823113, | |
| "learning_rate": 7.716671037846008e-05, | |
| "loss": 3.5195, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 8.75, | |
| "grad_norm": 1.5893477432367924, | |
| "learning_rate": 7.710993357521301e-05, | |
| "loss": 3.517, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 8.833333333333334, | |
| "grad_norm": 1.465403132126237, | |
| "learning_rate": 7.705261630931301e-05, | |
| "loss": 3.4985, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 8.916666666666666, | |
| "grad_norm": 3.147776645564893, | |
| "learning_rate": 7.699475947581645e-05, | |
| "loss": 3.5098, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "grad_norm": 1.8052514586348347, | |
| "learning_rate": 7.693636397820548e-05, | |
| "loss": 3.5221, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 9.083333333333334, | |
| "grad_norm": 1.5804148010006884, | |
| "learning_rate": 7.687743072837396e-05, | |
| "loss": 3.4969, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 9.166666666666666, | |
| "grad_norm": 1.5723063398503545, | |
| "learning_rate": 7.68179606466132e-05, | |
| "loss": 3.5089, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 9.25, | |
| "grad_norm": 1.4536732285516285, | |
| "learning_rate": 7.675795466159753e-05, | |
| "loss": 3.4966, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 9.333333333333334, | |
| "grad_norm": 1.619604396318351, | |
| "learning_rate": 7.669741371036993e-05, | |
| "loss": 3.4925, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 9.416666666666666, | |
| "grad_norm": 1.4415499814538313, | |
| "learning_rate": 7.663633873832725e-05, | |
| "loss": 3.4891, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 9.5, | |
| "grad_norm": 1.4939869521157274, | |
| "learning_rate": 7.657473069920554e-05, | |
| "loss": 3.4914, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 9.583333333333334, | |
| "grad_norm": 1.3998934875570057, | |
| "learning_rate": 7.651259055506515e-05, | |
| "loss": 3.4946, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 9.666666666666666, | |
| "grad_norm": 1.42203604655981, | |
| "learning_rate": 7.644991927627567e-05, | |
| "loss": 3.5, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 9.75, | |
| "grad_norm": 1.3098547482225043, | |
| "learning_rate": 7.638671784150078e-05, | |
| "loss": 3.4943, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 9.833333333333334, | |
| "grad_norm": 1.5343773494166395, | |
| "learning_rate": 7.632298723768303e-05, | |
| "loss": 3.4831, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 9.916666666666666, | |
| "grad_norm": 1.4256590072275053, | |
| "learning_rate": 7.625872846002834e-05, | |
| "loss": 3.4869, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 1.4600817780257889, | |
| "learning_rate": 7.61939425119905e-05, | |
| "loss": 3.4795, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 10.083333333333334, | |
| "grad_norm": 1.7103241818414359, | |
| "learning_rate": 7.612863040525552e-05, | |
| "loss": 3.4775, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 10.166666666666666, | |
| "grad_norm": 1.4473713824593213, | |
| "learning_rate": 7.606279315972582e-05, | |
| "loss": 3.4606, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 10.25, | |
| "grad_norm": 1.756357497865636, | |
| "learning_rate": 7.599643180350426e-05, | |
| "loss": 3.4712, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 10.333333333333334, | |
| "grad_norm": 1.3865929774884687, | |
| "learning_rate": 7.592954737287815e-05, | |
| "loss": 3.4632, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 10.416666666666666, | |
| "grad_norm": 1.2647139484419656, | |
| "learning_rate": 7.586214091230304e-05, | |
| "loss": 3.4643, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 10.5, | |
| "grad_norm": 1.4475556982521385, | |
| "learning_rate": 7.579421347438636e-05, | |
| "loss": 3.4754, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 10.583333333333334, | |
| "grad_norm": 2.0134325745525445, | |
| "learning_rate": 7.57257661198711e-05, | |
| "loss": 3.4672, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 10.666666666666666, | |
| "grad_norm": 1.5174059285349866, | |
| "learning_rate": 7.565679991761914e-05, | |
| "loss": 3.4666, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 10.75, | |
| "grad_norm": 1.464499552660581, | |
| "learning_rate": 7.558731594459459e-05, | |
| "loss": 3.4692, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 10.833333333333334, | |
| "grad_norm": 1.3781397691138573, | |
| "learning_rate": 7.551731528584699e-05, | |
| "loss": 3.4657, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 10.916666666666666, | |
| "grad_norm": 1.3226703154102752, | |
| "learning_rate": 7.544679903449437e-05, | |
| "loss": 3.4538, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "grad_norm": 1.377776593653023, | |
| "learning_rate": 7.537576829170611e-05, | |
| "loss": 3.4717, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 11.083333333333334, | |
| "grad_norm": 1.9570392905429885, | |
| "learning_rate": 7.530422416668585e-05, | |
| "loss": 3.4484, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 11.166666666666666, | |
| "grad_norm": 1.4842766980196718, | |
| "learning_rate": 7.52321677766541e-05, | |
| "loss": 3.4374, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 11.25, | |
| "grad_norm": 1.5332926147002441, | |
| "learning_rate": 7.515960024683081e-05, | |
| "loss": 3.44, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 11.333333333333334, | |
| "grad_norm": 1.3621613895428082, | |
| "learning_rate": 7.508652271041779e-05, | |
| "loss": 3.4492, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 11.416666666666666, | |
| "grad_norm": 1.517209512725705, | |
| "learning_rate": 7.501293630858103e-05, | |
| "loss": 3.4446, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 11.5, | |
| "grad_norm": 1.5773395812237894, | |
| "learning_rate": 7.49388421904329e-05, | |
| "loss": 3.4439, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 11.583333333333334, | |
| "grad_norm": 1.4029248237127248, | |
| "learning_rate": 7.486424151301413e-05, | |
| "loss": 3.4257, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 11.666666666666666, | |
| "grad_norm": 1.3651891872802668, | |
| "learning_rate": 7.478913544127583e-05, | |
| "loss": 3.4403, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 11.75, | |
| "grad_norm": 1.3012478195010924, | |
| "learning_rate": 7.471352514806125e-05, | |
| "loss": 3.449, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 11.833333333333334, | |
| "grad_norm": 1.304335175414864, | |
| "learning_rate": 7.463741181408744e-05, | |
| "loss": 3.4349, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 11.916666666666666, | |
| "grad_norm": 1.3803850840509635, | |
| "learning_rate": 7.45607966279269e-05, | |
| "loss": 3.4412, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "grad_norm": 1.2713876151258938, | |
| "learning_rate": 7.448368078598894e-05, | |
| "loss": 3.43, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 12.083333333333334, | |
| "grad_norm": 1.3325965554357877, | |
| "learning_rate": 7.440606549250101e-05, | |
| "loss": 3.4112, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 12.166666666666666, | |
| "grad_norm": 1.281914422420827, | |
| "learning_rate": 7.432795195948994e-05, | |
| "loss": 3.4086, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 12.25, | |
| "grad_norm": 1.4325774121629866, | |
| "learning_rate": 7.424934140676293e-05, | |
| "loss": 3.4316, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 12.333333333333334, | |
| "grad_norm": 1.283352684931979, | |
| "learning_rate": 7.41702350618886e-05, | |
| "loss": 3.4237, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 12.416666666666666, | |
| "grad_norm": 1.4034994989196514, | |
| "learning_rate": 7.409063416017778e-05, | |
| "loss": 3.4042, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 12.5, | |
| "grad_norm": 1.3437155785698507, | |
| "learning_rate": 7.401053994466417e-05, | |
| "loss": 3.4059, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 12.583333333333334, | |
| "grad_norm": 1.3116705407921962, | |
| "learning_rate": 7.392995366608499e-05, | |
| "loss": 3.4073, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 12.666666666666666, | |
| "grad_norm": 1.329854803620938, | |
| "learning_rate": 7.384887658286145e-05, | |
| "loss": 3.4066, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 12.75, | |
| "grad_norm": 1.2987784698861164, | |
| "learning_rate": 7.376730996107905e-05, | |
| "loss": 3.4248, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 12.833333333333334, | |
| "grad_norm": 1.3591198736603014, | |
| "learning_rate": 7.368525507446785e-05, | |
| "loss": 3.4058, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 12.916666666666666, | |
| "grad_norm": 1.4703985661320134, | |
| "learning_rate": 7.360271320438257e-05, | |
| "loss": 3.4107, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "grad_norm": 1.3184027770633522, | |
| "learning_rate": 7.351968563978259e-05, | |
| "loss": 3.4268, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 13.083333333333334, | |
| "grad_norm": 1.3171471115563136, | |
| "learning_rate": 7.343617367721179e-05, | |
| "loss": 3.3918, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 13.166666666666666, | |
| "grad_norm": 1.3765257693011452, | |
| "learning_rate": 7.335217862077831e-05, | |
| "loss": 3.3923, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 13.25, | |
| "grad_norm": 1.2518194308734016, | |
| "learning_rate": 7.326770178213425e-05, | |
| "loss": 3.4022, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 13.333333333333334, | |
| "grad_norm": 1.2797361595208716, | |
| "learning_rate": 7.31827444804551e-05, | |
| "loss": 3.3857, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 13.416666666666666, | |
| "grad_norm": 1.2671112470344288, | |
| "learning_rate": 7.309730804241918e-05, | |
| "loss": 3.384, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 13.5, | |
| "grad_norm": 1.2366844977372622, | |
| "learning_rate": 7.301139380218691e-05, | |
| "loss": 3.3939, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 13.583333333333334, | |
| "grad_norm": 1.471267166491291, | |
| "learning_rate": 7.292500310138003e-05, | |
| "loss": 3.405, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 13.666666666666666, | |
| "grad_norm": 1.4431997993020809, | |
| "learning_rate": 7.283813728906054e-05, | |
| "loss": 3.3769, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 13.75, | |
| "grad_norm": 1.2991835487904995, | |
| "learning_rate": 7.275079772170975e-05, | |
| "loss": 3.3905, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 13.833333333333334, | |
| "grad_norm": 1.341972861486016, | |
| "learning_rate": 7.266298576320701e-05, | |
| "loss": 3.3871, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 13.916666666666666, | |
| "grad_norm": 1.3773153924213604, | |
| "learning_rate": 7.257470278480848e-05, | |
| "loss": 3.3781, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "grad_norm": 1.372472390555533, | |
| "learning_rate": 7.248595016512566e-05, | |
| "loss": 3.3874, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 14.083333333333334, | |
| "grad_norm": 1.2304244260524997, | |
| "learning_rate": 7.239672929010391e-05, | |
| "loss": 3.3664, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 14.166666666666666, | |
| "grad_norm": 1.2779169225718405, | |
| "learning_rate": 7.230704155300076e-05, | |
| "loss": 3.3814, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 14.25, | |
| "grad_norm": 1.3588450922674586, | |
| "learning_rate": 7.221688835436417e-05, | |
| "loss": 3.366, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 14.333333333333334, | |
| "grad_norm": 1.2960732521059617, | |
| "learning_rate": 7.212627110201067e-05, | |
| "loss": 3.3658, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 14.416666666666666, | |
| "grad_norm": 1.4738554182844217, | |
| "learning_rate": 7.203519121100341e-05, | |
| "loss": 3.3746, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 14.5, | |
| "grad_norm": 1.249613797608372, | |
| "learning_rate": 7.194365010362997e-05, | |
| "loss": 3.3566, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 14.583333333333334, | |
| "grad_norm": 1.29303725138947, | |
| "learning_rate": 7.185164920938025e-05, | |
| "loss": 3.3671, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 14.666666666666666, | |
| "grad_norm": 1.2368672477552476, | |
| "learning_rate": 7.175918996492408e-05, | |
| "loss": 3.3768, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 14.75, | |
| "grad_norm": 1.3488121493553715, | |
| "learning_rate": 7.166627381408878e-05, | |
| "loss": 3.3686, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 14.833333333333334, | |
| "grad_norm": 1.2752304560755283, | |
| "learning_rate": 7.157290220783669e-05, | |
| "loss": 3.3575, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 14.916666666666666, | |
| "grad_norm": 1.254592802623705, | |
| "learning_rate": 7.147907660424242e-05, | |
| "loss": 3.3582, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "grad_norm": 1.4514910628003894, | |
| "learning_rate": 7.138479846847017e-05, | |
| "loss": 3.3613, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 15.083333333333334, | |
| "grad_norm": 1.2443707551217975, | |
| "learning_rate": 7.129006927275073e-05, | |
| "loss": 3.3482, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 15.166666666666666, | |
| "grad_norm": 1.2791857023199944, | |
| "learning_rate": 7.119489049635866e-05, | |
| "loss": 3.3485, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 15.25, | |
| "grad_norm": 1.3065268063545277, | |
| "learning_rate": 7.109926362558899e-05, | |
| "loss": 3.3361, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 15.333333333333334, | |
| "grad_norm": 1.385675774152893, | |
| "learning_rate": 7.10031901537342e-05, | |
| "loss": 3.3528, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 15.416666666666666, | |
| "grad_norm": 1.266323932699837, | |
| "learning_rate": 7.090667158106076e-05, | |
| "loss": 3.3298, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 15.5, | |
| "grad_norm": 1.3063394744016832, | |
| "learning_rate": 7.080970941478578e-05, | |
| "loss": 3.3366, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 15.583333333333334, | |
| "grad_norm": 1.4699831716391667, | |
| "learning_rate": 7.071230516905344e-05, | |
| "loss": 3.3582, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 15.666666666666666, | |
| "grad_norm": 1.2511472682337508, | |
| "learning_rate": 7.061446036491134e-05, | |
| "loss": 3.3501, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 15.75, | |
| "grad_norm": 1.3022773089563557, | |
| "learning_rate": 7.051617653028682e-05, | |
| "loss": 3.336, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 15.833333333333334, | |
| "grad_norm": 1.2575260096717347, | |
| "learning_rate": 7.041745519996298e-05, | |
| "loss": 3.3359, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 15.916666666666666, | |
| "grad_norm": 1.2802639400033877, | |
| "learning_rate": 7.031829791555481e-05, | |
| "loss": 3.3345, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "grad_norm": 1.2697044841241623, | |
| "learning_rate": 7.021870622548507e-05, | |
| "loss": 3.3365, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 16.083333333333332, | |
| "grad_norm": 1.346005343535701, | |
| "learning_rate": 7.011868168496013e-05, | |
| "loss": 3.3225, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 16.166666666666668, | |
| "grad_norm": 1.1968185311883186, | |
| "learning_rate": 7.001822585594565e-05, | |
| "loss": 3.3251, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 16.25, | |
| "grad_norm": 1.2590247052793377, | |
| "learning_rate": 6.991734030714228e-05, | |
| "loss": 3.3326, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 16.333333333333332, | |
| "grad_norm": 1.2213568073995167, | |
| "learning_rate": 6.981602661396103e-05, | |
| "loss": 3.3322, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 16.416666666666668, | |
| "grad_norm": 1.324331633220983, | |
| "learning_rate": 6.971428635849877e-05, | |
| "loss": 3.3108, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 16.5, | |
| "grad_norm": 1.518046538774183, | |
| "learning_rate": 6.961212112951348e-05, | |
| "loss": 3.3109, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 16.583333333333332, | |
| "grad_norm": 1.4426437895988784, | |
| "learning_rate": 6.950953252239947e-05, | |
| "loss": 3.3168, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 16.666666666666668, | |
| "grad_norm": 1.2397242180185228, | |
| "learning_rate": 6.940652213916241e-05, | |
| "loss": 3.3199, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 16.75, | |
| "grad_norm": 1.29448074490934, | |
| "learning_rate": 6.930309158839443e-05, | |
| "loss": 3.3232, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 16.833333333333332, | |
| "grad_norm": 1.559041812137833, | |
| "learning_rate": 6.919924248524884e-05, | |
| "loss": 3.3205, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 16.916666666666668, | |
| "grad_norm": 1.2753349163512877, | |
| "learning_rate": 6.9094976451415e-05, | |
| "loss": 3.3097, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 17.0, | |
| "grad_norm": 1.3298544898779932, | |
| "learning_rate": 6.899029511509305e-05, | |
| "loss": 3.3075, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 17.083333333333332, | |
| "grad_norm": 1.3315565320489766, | |
| "learning_rate": 6.888520011096835e-05, | |
| "loss": 3.3069, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 17.166666666666668, | |
| "grad_norm": 1.2392735401354973, | |
| "learning_rate": 6.877969308018608e-05, | |
| "loss": 3.3017, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 17.25, | |
| "grad_norm": 1.286514492070412, | |
| "learning_rate": 6.867377567032551e-05, | |
| "loss": 3.2914, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 17.333333333333332, | |
| "grad_norm": 1.2513592006046819, | |
| "learning_rate": 6.856744953537433e-05, | |
| "loss": 3.2826, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 17.416666666666668, | |
| "grad_norm": 1.2765573303043272, | |
| "learning_rate": 6.846071633570285e-05, | |
| "loss": 3.2881, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 17.5, | |
| "grad_norm": 1.3097489908574558, | |
| "learning_rate": 6.835357773803795e-05, | |
| "loss": 3.2767, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 17.583333333333332, | |
| "grad_norm": 1.2579493951641147, | |
| "learning_rate": 6.824603541543722e-05, | |
| "loss": 3.2971, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 17.666666666666668, | |
| "grad_norm": 1.2603817401597182, | |
| "learning_rate": 6.81380910472627e-05, | |
| "loss": 3.3093, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 17.75, | |
| "grad_norm": 1.3534883658786685, | |
| "learning_rate": 6.802974631915469e-05, | |
| "loss": 3.3, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 17.833333333333332, | |
| "grad_norm": 1.3639723985066339, | |
| "learning_rate": 6.79210029230055e-05, | |
| "loss": 3.2726, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 17.916666666666668, | |
| "grad_norm": 1.332547308778015, | |
| "learning_rate": 6.781186255693291e-05, | |
| "loss": 3.2959, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 18.0, | |
| "grad_norm": 1.2909418451461856, | |
| "learning_rate": 6.770232692525372e-05, | |
| "loss": 3.2988, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 18.083333333333332, | |
| "grad_norm": 1.3499756687232234, | |
| "learning_rate": 6.759239773845719e-05, | |
| "loss": 3.2675, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 18.166666666666668, | |
| "grad_norm": 1.3128110426232036, | |
| "learning_rate": 6.74820767131782e-05, | |
| "loss": 3.2671, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 18.25, | |
| "grad_norm": 1.283697442424711, | |
| "learning_rate": 6.73713655721705e-05, | |
| "loss": 3.2642, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 18.333333333333332, | |
| "grad_norm": 1.3840942477015017, | |
| "learning_rate": 6.726026604427991e-05, | |
| "loss": 3.2667, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 18.416666666666668, | |
| "grad_norm": 1.2942895050032415, | |
| "learning_rate": 6.714877986441712e-05, | |
| "loss": 3.2751, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 18.5, | |
| "grad_norm": 1.318775297889503, | |
| "learning_rate": 6.703690877353082e-05, | |
| "loss": 3.2578, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 18.583333333333332, | |
| "grad_norm": 1.1723858037943558, | |
| "learning_rate": 6.69246545185803e-05, | |
| "loss": 3.2648, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 18.666666666666668, | |
| "grad_norm": 1.3490831422938587, | |
| "learning_rate": 6.681201885250831e-05, | |
| "loss": 3.2787, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 18.75, | |
| "grad_norm": 1.2200908620799342, | |
| "learning_rate": 6.66990035342137e-05, | |
| "loss": 3.2702, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 18.833333333333332, | |
| "grad_norm": 1.3872104256684754, | |
| "learning_rate": 6.658561032852383e-05, | |
| "loss": 3.2645, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 18.916666666666668, | |
| "grad_norm": 1.347482288576833, | |
| "learning_rate": 6.647184100616713e-05, | |
| "loss": 3.2635, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 19.0, | |
| "grad_norm": 1.3217817629855473, | |
| "learning_rate": 6.635769734374537e-05, | |
| "loss": 3.2596, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 19.083333333333332, | |
| "grad_norm": 1.480719874680819, | |
| "learning_rate": 6.6243181123706e-05, | |
| "loss": 3.235, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 19.166666666666668, | |
| "grad_norm": 1.2738487656087054, | |
| "learning_rate": 6.612829413431417e-05, | |
| "loss": 3.2488, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 19.25, | |
| "grad_norm": 1.3925336105700943, | |
| "learning_rate": 6.6013038169625e-05, | |
| "loss": 3.2587, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 19.333333333333332, | |
| "grad_norm": 1.742278571378594, | |
| "learning_rate": 6.58974150294554e-05, | |
| "loss": 3.2292, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 19.416666666666668, | |
| "grad_norm": 1.3578180187890174, | |
| "learning_rate": 6.578142651935609e-05, | |
| "loss": 3.2508, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 19.5, | |
| "grad_norm": 1.3173607781266297, | |
| "learning_rate": 6.566507445058325e-05, | |
| "loss": 3.2406, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 19.583333333333332, | |
| "grad_norm": 1.3824751275361975, | |
| "learning_rate": 6.554836064007041e-05, | |
| "loss": 3.2412, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 19.666666666666668, | |
| "grad_norm": 1.4114464856691002, | |
| "learning_rate": 6.543128691039996e-05, | |
| "loss": 3.2206, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 19.75, | |
| "grad_norm": 1.2609956635741681, | |
| "learning_rate": 6.531385508977472e-05, | |
| "loss": 3.2228, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 19.833333333333332, | |
| "grad_norm": 1.2758937620224395, | |
| "learning_rate": 6.519606701198941e-05, | |
| "loss": 3.2156, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 19.916666666666668, | |
| "grad_norm": 1.3457745227227038, | |
| "learning_rate": 6.507792451640202e-05, | |
| "loss": 3.2486, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "grad_norm": 1.3877834477311763, | |
| "learning_rate": 6.495942944790501e-05, | |
| "loss": 3.2269, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 20.083333333333332, | |
| "grad_norm": 1.4863972591407726, | |
| "learning_rate": 6.48405836568966e-05, | |
| "loss": 3.2119, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 20.166666666666668, | |
| "grad_norm": 1.3320427947229272, | |
| "learning_rate": 6.472138899925184e-05, | |
| "loss": 3.209, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 20.25, | |
| "grad_norm": 1.3484497830040354, | |
| "learning_rate": 6.460184733629356e-05, | |
| "loss": 3.2027, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 20.333333333333332, | |
| "grad_norm": 1.3434473628418364, | |
| "learning_rate": 6.448196053476343e-05, | |
| "loss": 3.2189, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 20.416666666666668, | |
| "grad_norm": 1.257438367087841, | |
| "learning_rate": 6.436173046679271e-05, | |
| "loss": 3.2136, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 20.5, | |
| "grad_norm": 1.2551056066663047, | |
| "learning_rate": 6.424115900987306e-05, | |
| "loss": 3.236, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 20.583333333333332, | |
| "grad_norm": 1.2797481294272885, | |
| "learning_rate": 6.41202480468272e-05, | |
| "loss": 3.1989, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 20.666666666666668, | |
| "grad_norm": 1.3190025286675566, | |
| "learning_rate": 6.399899946577953e-05, | |
| "loss": 3.2255, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 20.75, | |
| "grad_norm": 1.2748252000848919, | |
| "learning_rate": 6.387741516012663e-05, | |
| "loss": 3.2125, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 20.833333333333332, | |
| "grad_norm": 1.3473295396269764, | |
| "learning_rate": 6.375549702850768e-05, | |
| "loss": 3.2148, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 20.916666666666668, | |
| "grad_norm": 1.374239624628266, | |
| "learning_rate": 6.363324697477485e-05, | |
| "loss": 3.1876, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 21.0, | |
| "grad_norm": 1.3547918734881994, | |
| "learning_rate": 6.351066690796354e-05, | |
| "loss": 3.2156, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 21.083333333333332, | |
| "grad_norm": 1.3467361183874422, | |
| "learning_rate": 6.338775874226258e-05, | |
| "loss": 3.1713, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 21.166666666666668, | |
| "grad_norm": 1.3962803404814836, | |
| "learning_rate": 6.326452439698431e-05, | |
| "loss": 3.1994, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 21.25, | |
| "grad_norm": 1.3400143884484148, | |
| "learning_rate": 6.314096579653469e-05, | |
| "loss": 3.177, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 21.333333333333332, | |
| "grad_norm": 1.6231523426736183, | |
| "learning_rate": 6.301708487038312e-05, | |
| "loss": 3.1791, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 21.416666666666668, | |
| "grad_norm": 1.437426606668144, | |
| "learning_rate": 6.289288355303245e-05, | |
| "loss": 3.1885, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 21.5, | |
| "grad_norm": 1.3600716833548998, | |
| "learning_rate": 6.276836378398864e-05, | |
| "loss": 3.1836, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 21.583333333333332, | |
| "grad_norm": 1.3436178098020057, | |
| "learning_rate": 6.264352750773059e-05, | |
| "loss": 3.1879, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 21.666666666666668, | |
| "grad_norm": 1.3309107119750059, | |
| "learning_rate": 6.251837667367967e-05, | |
| "loss": 3.1883, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 21.75, | |
| "grad_norm": 1.3475152425664707, | |
| "learning_rate": 6.239291323616937e-05, | |
| "loss": 3.1788, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 21.833333333333332, | |
| "grad_norm": 1.3748704675869732, | |
| "learning_rate": 6.226713915441472e-05, | |
| "loss": 3.1658, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 21.916666666666668, | |
| "grad_norm": 1.3974881066241038, | |
| "learning_rate": 6.214105639248174e-05, | |
| "loss": 3.1716, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 22.0, | |
| "grad_norm": 1.3657315594543549, | |
| "learning_rate": 6.20146669192567e-05, | |
| "loss": 3.1711, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 22.083333333333332, | |
| "grad_norm": 1.2636902231479243, | |
| "learning_rate": 6.188797270841548e-05, | |
| "loss": 3.1667, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 22.166666666666668, | |
| "grad_norm": 1.4702954379479194, | |
| "learning_rate": 6.176097573839264e-05, | |
| "loss": 3.1541, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 22.25, | |
| "grad_norm": 1.383457916846715, | |
| "learning_rate": 6.16336779923506e-05, | |
| "loss": 3.1429, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 22.333333333333332, | |
| "grad_norm": 1.3919312417872527, | |
| "learning_rate": 6.150608145814863e-05, | |
| "loss": 3.1548, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 22.416666666666668, | |
| "grad_norm": 1.343381609431799, | |
| "learning_rate": 6.137818812831183e-05, | |
| "loss": 3.1451, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 22.5, | |
| "grad_norm": 1.291444877328364, | |
| "learning_rate": 6.125000000000001e-05, | |
| "loss": 3.151, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 22.583333333333332, | |
| "grad_norm": 1.3314479770216847, | |
| "learning_rate": 6.11215190749765e-05, | |
| "loss": 3.1768, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 22.666666666666668, | |
| "grad_norm": 1.350864119715259, | |
| "learning_rate": 6.0992747359576896e-05, | |
| "loss": 3.1525, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 22.75, | |
| "grad_norm": 1.3904601010054543, | |
| "learning_rate": 6.0863686864677734e-05, | |
| "loss": 3.1376, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 22.833333333333332, | |
| "grad_norm": 1.3008729369696157, | |
| "learning_rate": 6.0734339605665026e-05, | |
| "loss": 3.1429, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 22.916666666666668, | |
| "grad_norm": 1.3818475406011306, | |
| "learning_rate": 6.060470760240294e-05, | |
| "loss": 3.1556, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 23.0, | |
| "grad_norm": 1.3795243733829088, | |
| "learning_rate": 6.047479287920208e-05, | |
| "loss": 3.1332, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 23.083333333333332, | |
| "grad_norm": 1.302504031564986, | |
| "learning_rate": 6.0344597464787954e-05, | |
| "loss": 3.1234, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 23.166666666666668, | |
| "grad_norm": 1.5096437866477266, | |
| "learning_rate": 6.021412339226936e-05, | |
| "loss": 3.1047, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 23.25, | |
| "grad_norm": 1.3599131165829073, | |
| "learning_rate": 6.008337269910651e-05, | |
| "loss": 3.131, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 23.333333333333332, | |
| "grad_norm": 1.299822204609377, | |
| "learning_rate": 5.9952347427079305e-05, | |
| "loss": 3.1377, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 23.416666666666668, | |
| "grad_norm": 1.3382665843794723, | |
| "learning_rate": 5.9821049622255403e-05, | |
| "loss": 3.098, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 23.5, | |
| "grad_norm": 1.4778544107722813, | |
| "learning_rate": 5.968948133495832e-05, | |
| "loss": 3.1089, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 23.583333333333332, | |
| "grad_norm": 1.390248151144449, | |
| "learning_rate": 5.955764461973535e-05, | |
| "loss": 3.1, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 23.666666666666668, | |
| "grad_norm": 1.2924649735211127, | |
| "learning_rate": 5.9425541535325495e-05, | |
| "loss": 3.1264, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 23.75, | |
| "grad_norm": 1.395322687297681, | |
| "learning_rate": 5.929317414462738e-05, | |
| "loss": 3.1192, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 23.833333333333332, | |
| "grad_norm": 1.323786392071892, | |
| "learning_rate": 5.916054451466694e-05, | |
| "loss": 3.1193, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 23.916666666666668, | |
| "grad_norm": 1.4853497165966916, | |
| "learning_rate": 5.9027654716565247e-05, | |
| "loss": 3.1202, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 24.0, | |
| "grad_norm": 1.3269473969900474, | |
| "learning_rate": 5.889450682550605e-05, | |
| "loss": 3.0974, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 24.083333333333332, | |
| "grad_norm": 1.4171058404143289, | |
| "learning_rate": 5.8761102920703476e-05, | |
| "loss": 3.0884, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 24.166666666666668, | |
| "grad_norm": 1.3907773223776922, | |
| "learning_rate": 5.862744508536953e-05, | |
| "loss": 3.1013, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 24.25, | |
| "grad_norm": 1.3382927728748126, | |
| "learning_rate": 5.84935354066815e-05, | |
| "loss": 3.0812, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 24.333333333333332, | |
| "grad_norm": 1.3844935226509332, | |
| "learning_rate": 5.835937597574944e-05, | |
| "loss": 3.0815, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 24.416666666666668, | |
| "grad_norm": 1.3450427822838986, | |
| "learning_rate": 5.822496888758352e-05, | |
| "loss": 3.0978, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 24.5, | |
| "grad_norm": 1.3006419889118672, | |
| "learning_rate": 5.8090316241061225e-05, | |
| "loss": 3.0851, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 24.583333333333332, | |
| "grad_norm": 1.3246075444840226, | |
| "learning_rate": 5.7955420138894706e-05, | |
| "loss": 3.0888, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 24.666666666666668, | |
| "grad_norm": 1.479300891356031, | |
| "learning_rate": 5.7820282687597816e-05, | |
| "loss": 3.1036, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 24.75, | |
| "grad_norm": 1.3091031122271033, | |
| "learning_rate": 5.7684905997453294e-05, | |
| "loss": 3.0991, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 24.833333333333332, | |
| "grad_norm": 1.3908755473196421, | |
| "learning_rate": 5.7549292182479784e-05, | |
| "loss": 3.0859, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 24.916666666666668, | |
| "grad_norm": 1.3247453660828128, | |
| "learning_rate": 5.741344336039887e-05, | |
| "loss": 3.0807, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "grad_norm": 1.5086037728812811, | |
| "learning_rate": 5.727736165260188e-05, | |
| "loss": 3.0892, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 25.083333333333332, | |
| "grad_norm": 1.4561170721985228, | |
| "learning_rate": 5.714104918411696e-05, | |
| "loss": 3.0426, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 25.166666666666668, | |
| "grad_norm": 1.4310032361125276, | |
| "learning_rate": 5.7004508083575645e-05, | |
| "loss": 3.0395, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 25.25, | |
| "grad_norm": 1.3665159483508298, | |
| "learning_rate": 5.686774048317986e-05, | |
| "loss": 3.0549, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 25.333333333333332, | |
| "grad_norm": 1.2814247663444165, | |
| "learning_rate": 5.6730748518668455e-05, | |
| "loss": 3.073, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 25.416666666666668, | |
| "grad_norm": 1.3650601648338923, | |
| "learning_rate": 5.6593534329283935e-05, | |
| "loss": 3.0632, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 25.5, | |
| "grad_norm": 1.3880221836257673, | |
| "learning_rate": 5.645610005773901e-05, | |
| "loss": 3.0205, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 25.583333333333332, | |
| "grad_norm": 1.3436946413923962, | |
| "learning_rate": 5.631844785018314e-05, | |
| "loss": 3.0455, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 25.666666666666668, | |
| "grad_norm": 1.3390641683169715, | |
| "learning_rate": 5.6180579856169076e-05, | |
| "loss": 3.0595, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 25.75, | |
| "grad_norm": 1.4196737668218957, | |
| "learning_rate": 5.604249822861923e-05, | |
| "loss": 3.045, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 25.833333333333332, | |
| "grad_norm": 1.412263558440003, | |
| "learning_rate": 5.5904205123792096e-05, | |
| "loss": 3.0162, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 25.916666666666668, | |
| "grad_norm": 1.371519886536035, | |
| "learning_rate": 5.576570270124853e-05, | |
| "loss": 3.063, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 26.0, | |
| "grad_norm": 1.3455542494498636, | |
| "learning_rate": 5.562699312381807e-05, | |
| "loss": 3.0448, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 26.083333333333332, | |
| "grad_norm": 1.4407272600467436, | |
| "learning_rate": 5.548807855756516e-05, | |
| "loss": 3.0111, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 26.166666666666668, | |
| "grad_norm": 1.6117633023855797, | |
| "learning_rate": 5.53489611717553e-05, | |
| "loss": 3.0152, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 26.25, | |
| "grad_norm": 1.3923613177537435, | |
| "learning_rate": 5.5209643138821204e-05, | |
| "loss": 3.0474, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 26.333333333333332, | |
| "grad_norm": 1.335755497542186, | |
| "learning_rate": 5.50701266343288e-05, | |
| "loss": 3.0364, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 26.416666666666668, | |
| "grad_norm": 1.4052560896660937, | |
| "learning_rate": 5.4930413836943396e-05, | |
| "loss": 3.037, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 26.5, | |
| "grad_norm": 1.4303890654007283, | |
| "learning_rate": 5.47905069283955e-05, | |
| "loss": 3.0073, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 26.583333333333332, | |
| "grad_norm": 1.4007812976571206, | |
| "learning_rate": 5.465040809344691e-05, | |
| "loss": 2.995, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 26.666666666666668, | |
| "grad_norm": 1.490984766508146, | |
| "learning_rate": 5.451011951985641e-05, | |
| "loss": 2.9963, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 26.75, | |
| "grad_norm": 1.3751261393168965, | |
| "learning_rate": 5.436964339834579e-05, | |
| "loss": 3.0364, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 26.833333333333332, | |
| "grad_norm": 1.3370715230386694, | |
| "learning_rate": 5.4228981922565525e-05, | |
| "loss": 3.0108, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 26.916666666666668, | |
| "grad_norm": 1.4219054334129306, | |
| "learning_rate": 5.408813728906053e-05, | |
| "loss": 3.0165, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 27.0, | |
| "grad_norm": 1.4248418352122785, | |
| "learning_rate": 5.394711169723593e-05, | |
| "loss": 2.9828, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 27.083333333333332, | |
| "grad_norm": 1.4825973306390765, | |
| "learning_rate": 5.380590734932262e-05, | |
| "loss": 2.9861, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 27.166666666666668, | |
| "grad_norm": 1.4984808222422086, | |
| "learning_rate": 5.366452645034293e-05, | |
| "loss": 2.949, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 27.25, | |
| "grad_norm": 1.5191827291008126, | |
| "learning_rate": 5.352297120807619e-05, | |
| "loss": 2.9477, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 27.333333333333332, | |
| "grad_norm": 1.4480899825984663, | |
| "learning_rate": 5.3381243833024236e-05, | |
| "loss": 2.9721, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 27.416666666666668, | |
| "grad_norm": 1.3954946999170734, | |
| "learning_rate": 5.3239346538376895e-05, | |
| "loss": 2.9906, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 27.5, | |
| "grad_norm": 1.5152891121143306, | |
| "learning_rate": 5.3097281539977465e-05, | |
| "loss": 2.9766, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 27.583333333333332, | |
| "grad_norm": 1.4404028731614356, | |
| "learning_rate": 5.2955051056288006e-05, | |
| "loss": 2.9856, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 27.666666666666668, | |
| "grad_norm": 1.4081720568315632, | |
| "learning_rate": 5.281265730835483e-05, | |
| "loss": 2.9691, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 27.75, | |
| "grad_norm": 1.4291743623991573, | |
| "learning_rate": 5.267010251977371e-05, | |
| "loss": 2.9626, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 27.833333333333332, | |
| "grad_norm": 1.4352333608811347, | |
| "learning_rate": 5.252738891665525e-05, | |
| "loss": 2.9734, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 27.916666666666668, | |
| "grad_norm": 1.411711661865139, | |
| "learning_rate": 5.2384518727590035e-05, | |
| "loss": 2.9574, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 28.0, | |
| "grad_norm": 2.9495729751573885, | |
| "learning_rate": 5.224149418361388e-05, | |
| "loss": 2.9603, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 28.083333333333332, | |
| "grad_norm": 2.2039865743501643, | |
| "learning_rate": 5.2098317518173004e-05, | |
| "loss": 2.9461, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 28.166666666666668, | |
| "grad_norm": 1.4254070470255447, | |
| "learning_rate": 5.195499096708908e-05, | |
| "loss": 2.9851, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 28.25, | |
| "grad_norm": 1.4842599924607975, | |
| "learning_rate": 5.1811516768524385e-05, | |
| "loss": 2.9153, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 28.333333333333332, | |
| "grad_norm": 1.4614338567111083, | |
| "learning_rate": 5.166789716294686e-05, | |
| "loss": 2.9376, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 28.416666666666668, | |
| "grad_norm": 1.4253014998459999, | |
| "learning_rate": 5.152413439309508e-05, | |
| "loss": 2.9575, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 28.5, | |
| "grad_norm": 1.608691394393477, | |
| "learning_rate": 5.1380230703943226e-05, | |
| "loss": 2.9173, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 28.583333333333332, | |
| "grad_norm": 1.5158983750917991, | |
| "learning_rate": 5.1236188342666084e-05, | |
| "loss": 2.9495, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 28.666666666666668, | |
| "grad_norm": 1.4752988706483192, | |
| "learning_rate": 5.109200955860392e-05, | |
| "loss": 2.9201, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 28.75, | |
| "grad_norm": 1.5354513025539587, | |
| "learning_rate": 5.0947696603227316e-05, | |
| "loss": 2.9335, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 28.833333333333332, | |
| "grad_norm": 1.4757378914614356, | |
| "learning_rate": 5.0803251730102097e-05, | |
| "loss": 2.9463, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 28.916666666666668, | |
| "grad_norm": 1.5723143765491057, | |
| "learning_rate": 5.065867719485405e-05, | |
| "loss": 2.9239, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 29.0, | |
| "grad_norm": 1.5086547396721213, | |
| "learning_rate": 5.051397525513377e-05, | |
| "loss": 2.922, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 29.083333333333332, | |
| "grad_norm": 1.5182012312223658, | |
| "learning_rate": 5.036914817058136e-05, | |
| "loss": 2.9051, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 29.166666666666668, | |
| "grad_norm": 1.4298035621435412, | |
| "learning_rate": 5.022419820279119e-05, | |
| "loss": 2.9175, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 29.25, | |
| "grad_norm": 1.4695717967724955, | |
| "learning_rate": 5.0079127615276534e-05, | |
| "loss": 2.9011, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 29.333333333333332, | |
| "grad_norm": 1.4080639478076706, | |
| "learning_rate": 4.993393867343423e-05, | |
| "loss": 2.88, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 29.416666666666668, | |
| "grad_norm": 1.4683815514264194, | |
| "learning_rate": 4.978863364450935e-05, | |
| "loss": 2.891, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 29.5, | |
| "grad_norm": 1.4303585624653763, | |
| "learning_rate": 4.964321479755974e-05, | |
| "loss": 2.906, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 29.583333333333332, | |
| "grad_norm": 1.4268660089825258, | |
| "learning_rate": 4.949768440342059e-05, | |
| "loss": 2.9006, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 29.666666666666668, | |
| "grad_norm": 1.5731159446070724, | |
| "learning_rate": 4.935204473466903e-05, | |
| "loss": 2.8703, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 29.75, | |
| "grad_norm": 1.4533611638936255, | |
| "learning_rate": 4.920629806558859e-05, | |
| "loss": 2.8831, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 29.833333333333332, | |
| "grad_norm": 1.5600617266938417, | |
| "learning_rate": 4.906044667213368e-05, | |
| "loss": 2.8881, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 29.916666666666668, | |
| "grad_norm": 1.5211783849429852, | |
| "learning_rate": 4.891449283189408e-05, | |
| "loss": 2.9013, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "grad_norm": 1.4718862286117111, | |
| "learning_rate": 4.876843882405937e-05, | |
| "loss": 2.9076, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 30.083333333333332, | |
| "grad_norm": 1.47761546540627, | |
| "learning_rate": 4.862228692938334e-05, | |
| "loss": 2.8644, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 30.166666666666668, | |
| "grad_norm": 1.480776148464572, | |
| "learning_rate": 4.8476039430148316e-05, | |
| "loss": 2.8999, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 30.25, | |
| "grad_norm": 1.4789810959727894, | |
| "learning_rate": 4.83296986101296e-05, | |
| "loss": 2.8742, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 30.333333333333332, | |
| "grad_norm": 1.5201632795976106, | |
| "learning_rate": 4.818326675455978e-05, | |
| "loss": 2.8574, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 30.416666666666668, | |
| "grad_norm": 1.5157011347259626, | |
| "learning_rate": 4.803674615009305e-05, | |
| "loss": 2.8336, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 30.5, | |
| "grad_norm": 1.596062049046762, | |
| "learning_rate": 4.789013908476944e-05, | |
| "loss": 2.8712, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 30.583333333333332, | |
| "grad_norm": 1.4512419446250129, | |
| "learning_rate": 4.7743447847979194e-05, | |
| "loss": 2.8732, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 30.666666666666668, | |
| "grad_norm": 1.5089699843488509, | |
| "learning_rate": 4.7596674730426936e-05, | |
| "loss": 2.8424, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 30.75, | |
| "grad_norm": 1.4240234408485204, | |
| "learning_rate": 4.744982202409592e-05, | |
| "loss": 2.8643, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 30.833333333333332, | |
| "grad_norm": 1.39491741058994, | |
| "learning_rate": 4.730289202221226e-05, | |
| "loss": 2.8807, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 30.916666666666668, | |
| "grad_norm": 1.4258800733624342, | |
| "learning_rate": 4.7155887019209106e-05, | |
| "loss": 2.8595, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 31.0, | |
| "grad_norm": 1.6010643905519482, | |
| "learning_rate": 4.700880931069078e-05, | |
| "loss": 2.8131, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 31.083333333333332, | |
| "grad_norm": 1.5902695144297962, | |
| "learning_rate": 4.6861661193397e-05, | |
| "loss": 2.8185, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 31.166666666666668, | |
| "grad_norm": 1.5916356291748939, | |
| "learning_rate": 4.671444496516696e-05, | |
| "loss": 2.8177, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 31.25, | |
| "grad_norm": 1.5021809775915371, | |
| "learning_rate": 4.6567162924903464e-05, | |
| "loss": 2.8128, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 31.333333333333332, | |
| "grad_norm": 1.5197267382084463, | |
| "learning_rate": 4.6419817372537015e-05, | |
| "loss": 2.8184, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 31.416666666666668, | |
| "grad_norm": 1.4756875650083467, | |
| "learning_rate": 4.627241060898991e-05, | |
| "loss": 2.8259, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 31.5, | |
| "grad_norm": 1.4946676683555828, | |
| "learning_rate": 4.612494493614034e-05, | |
| "loss": 2.8552, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 31.583333333333332, | |
| "grad_norm": 1.5825551613689914, | |
| "learning_rate": 4.597742265678638e-05, | |
| "loss": 2.811, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 31.666666666666668, | |
| "grad_norm": 1.4651916090872625, | |
| "learning_rate": 4.582984607461006e-05, | |
| "loss": 2.8132, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 31.75, | |
| "grad_norm": 1.502658157656818, | |
| "learning_rate": 4.568221749414142e-05, | |
| "loss": 2.8329, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 31.833333333333332, | |
| "grad_norm": 1.5683833936322416, | |
| "learning_rate": 4.553453922072248e-05, | |
| "loss": 2.7962, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 31.916666666666668, | |
| "grad_norm": 1.5686161120907167, | |
| "learning_rate": 4.538681356047126e-05, | |
| "loss": 2.8036, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 32.0, | |
| "grad_norm": 1.4808785467735663, | |
| "learning_rate": 4.523904282024575e-05, | |
| "loss": 2.8122, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 32.083333333333336, | |
| "grad_norm": 1.7083535387038318, | |
| "learning_rate": 4.509122930760793e-05, | |
| "loss": 2.7644, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 32.166666666666664, | |
| "grad_norm": 1.551912985377908, | |
| "learning_rate": 4.494337533078768e-05, | |
| "loss": 2.8065, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 32.25, | |
| "grad_norm": 1.5341182237498936, | |
| "learning_rate": 4.479548319864678e-05, | |
| "loss": 2.7883, | |
| "step": 3870 | |
| }, | |
| { | |
| "epoch": 32.333333333333336, | |
| "grad_norm": 1.5321390334852374, | |
| "learning_rate": 4.464755522064282e-05, | |
| "loss": 2.8076, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 32.416666666666664, | |
| "grad_norm": 1.5379501428149964, | |
| "learning_rate": 4.449959370679317e-05, | |
| "loss": 2.759, | |
| "step": 3890 | |
| }, | |
| { | |
| "epoch": 32.5, | |
| "grad_norm": 1.6583208058074153, | |
| "learning_rate": 4.435160096763887e-05, | |
| "loss": 2.7408, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 32.583333333333336, | |
| "grad_norm": 1.5798629406742593, | |
| "learning_rate": 4.4203579314208594e-05, | |
| "loss": 2.7661, | |
| "step": 3910 | |
| }, | |
| { | |
| "epoch": 32.666666666666664, | |
| "grad_norm": 1.5075959361407456, | |
| "learning_rate": 4.40555310579825e-05, | |
| "loss": 2.7467, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 32.75, | |
| "grad_norm": 1.5417214289381274, | |
| "learning_rate": 4.390745851085622e-05, | |
| "loss": 2.7549, | |
| "step": 3930 | |
| }, | |
| { | |
| "epoch": 32.833333333333336, | |
| "grad_norm": 1.4371654287005042, | |
| "learning_rate": 4.375936398510467e-05, | |
| "loss": 2.7779, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 32.916666666666664, | |
| "grad_norm": 1.5245894551716797, | |
| "learning_rate": 4.3611249793346e-05, | |
| "loss": 2.7928, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 33.0, | |
| "grad_norm": 1.546909601614463, | |
| "learning_rate": 4.3463118248505436e-05, | |
| "loss": 2.816, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 33.083333333333336, | |
| "grad_norm": 1.550218148415965, | |
| "learning_rate": 4.3314971663779214e-05, | |
| "loss": 2.6993, | |
| "step": 3970 | |
| }, | |
| { | |
| "epoch": 33.166666666666664, | |
| "grad_norm": 1.5280267695583538, | |
| "learning_rate": 4.316681235259841e-05, | |
| "loss": 2.7884, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 33.25, | |
| "grad_norm": 1.588101118524476, | |
| "learning_rate": 4.301864262859285e-05, | |
| "loss": 2.7352, | |
| "step": 3990 | |
| }, | |
| { | |
| "epoch": 33.333333333333336, | |
| "grad_norm": 1.576189270301701, | |
| "learning_rate": 4.287046480555496e-05, | |
| "loss": 2.7705, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 33.416666666666664, | |
| "grad_norm": 1.5360565263608965, | |
| "learning_rate": 4.272228119740365e-05, | |
| "loss": 2.7552, | |
| "step": 4010 | |
| }, | |
| { | |
| "epoch": 33.5, | |
| "grad_norm": 1.5249042981245482, | |
| "learning_rate": 4.257409411814814e-05, | |
| "loss": 2.7476, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 33.583333333333336, | |
| "grad_norm": 1.4846098061613, | |
| "learning_rate": 4.242590588185188e-05, | |
| "loss": 2.7647, | |
| "step": 4030 | |
| }, | |
| { | |
| "epoch": 33.666666666666664, | |
| "grad_norm": 1.5421512031341955, | |
| "learning_rate": 4.227771880259636e-05, | |
| "loss": 2.7579, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 33.75, | |
| "grad_norm": 1.550673550726342, | |
| "learning_rate": 4.2129535194445045e-05, | |
| "loss": 2.7817, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 33.833333333333336, | |
| "grad_norm": 1.6629421420604436, | |
| "learning_rate": 4.1981357371407156e-05, | |
| "loss": 2.7445, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 33.916666666666664, | |
| "grad_norm": 1.7359669570415046, | |
| "learning_rate": 4.18331876474016e-05, | |
| "loss": 2.7411, | |
| "step": 4070 | |
| }, | |
| { | |
| "epoch": 34.0, | |
| "grad_norm": 1.6051948852107758, | |
| "learning_rate": 4.1685028336220806e-05, | |
| "loss": 2.7246, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 34.083333333333336, | |
| "grad_norm": 1.61326469800831, | |
| "learning_rate": 4.1536881751494577e-05, | |
| "loss": 2.675, | |
| "step": 4090 | |
| }, | |
| { | |
| "epoch": 34.166666666666664, | |
| "grad_norm": 1.6549159021129762, | |
| "learning_rate": 4.138875020665401e-05, | |
| "loss": 2.6712, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 34.25, | |
| "grad_norm": 1.6196317767582717, | |
| "learning_rate": 4.1240636014895337e-05, | |
| "loss": 2.7096, | |
| "step": 4110 | |
| }, | |
| { | |
| "epoch": 34.333333333333336, | |
| "grad_norm": 1.6912880519243045, | |
| "learning_rate": 4.109254148914379e-05, | |
| "loss": 2.7094, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 34.416666666666664, | |
| "grad_norm": 1.5535177306117078, | |
| "learning_rate": 4.094446894201751e-05, | |
| "loss": 2.6763, | |
| "step": 4130 | |
| }, | |
| { | |
| "epoch": 34.5, | |
| "grad_norm": 1.5761840517313488, | |
| "learning_rate": 4.0796420685791426e-05, | |
| "loss": 2.7435, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 34.583333333333336, | |
| "grad_norm": 1.690334412144822, | |
| "learning_rate": 4.064839903236115e-05, | |
| "loss": 2.7175, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 34.666666666666664, | |
| "grad_norm": 1.5731682313079496, | |
| "learning_rate": 4.050040629320684e-05, | |
| "loss": 2.6945, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 34.75, | |
| "grad_norm": 1.5149227757176071, | |
| "learning_rate": 4.035244477935719e-05, | |
| "loss": 2.6984, | |
| "step": 4170 | |
| }, | |
| { | |
| "epoch": 34.833333333333336, | |
| "grad_norm": 1.5447691638188126, | |
| "learning_rate": 4.020451680135323e-05, | |
| "loss": 2.7065, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 34.916666666666664, | |
| "grad_norm": 1.5300603643988113, | |
| "learning_rate": 4.005662466921234e-05, | |
| "loss": 2.7076, | |
| "step": 4190 | |
| }, | |
| { | |
| "epoch": 35.0, | |
| "grad_norm": 1.5740334375700222, | |
| "learning_rate": 3.9908770692392085e-05, | |
| "loss": 2.6571, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 35.083333333333336, | |
| "grad_norm": 1.5035864551933709, | |
| "learning_rate": 3.976095717975426e-05, | |
| "loss": 2.6765, | |
| "step": 4210 | |
| }, | |
| { | |
| "epoch": 35.166666666666664, | |
| "grad_norm": 1.7380547193730094, | |
| "learning_rate": 3.9613186439528754e-05, | |
| "loss": 2.6862, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 35.25, | |
| "grad_norm": 1.6389355634878569, | |
| "learning_rate": 3.946546077927753e-05, | |
| "loss": 2.6741, | |
| "step": 4230 | |
| }, | |
| { | |
| "epoch": 35.333333333333336, | |
| "grad_norm": 1.573405545619542, | |
| "learning_rate": 3.931778250585859e-05, | |
| "loss": 2.65, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 35.416666666666664, | |
| "grad_norm": 1.575411134373999, | |
| "learning_rate": 3.917015392538995e-05, | |
| "loss": 2.6874, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 35.5, | |
| "grad_norm": 1.6077383663780997, | |
| "learning_rate": 3.9022577343213635e-05, | |
| "loss": 2.6638, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 35.583333333333336, | |
| "grad_norm": 1.6176007613528354, | |
| "learning_rate": 3.887505506385967e-05, | |
| "loss": 2.6768, | |
| "step": 4270 | |
| }, | |
| { | |
| "epoch": 35.666666666666664, | |
| "grad_norm": 1.6244894105866101, | |
| "learning_rate": 3.87275893910101e-05, | |
| "loss": 2.6027, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 35.75, | |
| "grad_norm": 1.5445815530167637, | |
| "learning_rate": 3.8580182627463004e-05, | |
| "loss": 2.6788, | |
| "step": 4290 | |
| }, | |
| { | |
| "epoch": 35.833333333333336, | |
| "grad_norm": 1.5823391085006941, | |
| "learning_rate": 3.843283707509655e-05, | |
| "loss": 2.6237, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 35.916666666666664, | |
| "grad_norm": 1.56261634393511, | |
| "learning_rate": 3.8285555034833046e-05, | |
| "loss": 2.6486, | |
| "step": 4310 | |
| }, | |
| { | |
| "epoch": 36.0, | |
| "grad_norm": 1.6228935821158086, | |
| "learning_rate": 3.8138338806603005e-05, | |
| "loss": 2.6113, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 36.083333333333336, | |
| "grad_norm": 1.646414143251148, | |
| "learning_rate": 3.799119068930923e-05, | |
| "loss": 2.6195, | |
| "step": 4330 | |
| }, | |
| { | |
| "epoch": 36.166666666666664, | |
| "grad_norm": 1.6856340052074528, | |
| "learning_rate": 3.784411298079091e-05, | |
| "loss": 2.6203, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 36.25, | |
| "grad_norm": 1.5480430123615228, | |
| "learning_rate": 3.769710797778775e-05, | |
| "loss": 2.6902, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 36.333333333333336, | |
| "grad_norm": 1.5983073579641873, | |
| "learning_rate": 3.7550177975904086e-05, | |
| "loss": 2.6014, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 36.416666666666664, | |
| "grad_norm": 1.6205099134556857, | |
| "learning_rate": 3.740332526957308e-05, | |
| "loss": 2.6192, | |
| "step": 4370 | |
| }, | |
| { | |
| "epoch": 36.5, | |
| "grad_norm": 1.6573217990644715, | |
| "learning_rate": 3.725655215202081e-05, | |
| "loss": 2.6199, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 36.583333333333336, | |
| "grad_norm": 1.6996698591884734, | |
| "learning_rate": 3.7109860915230564e-05, | |
| "loss": 2.6073, | |
| "step": 4390 | |
| }, | |
| { | |
| "epoch": 36.666666666666664, | |
| "grad_norm": 1.6044596449929456, | |
| "learning_rate": 3.696325384990696e-05, | |
| "loss": 2.6136, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 36.75, | |
| "grad_norm": 1.6368145243224967, | |
| "learning_rate": 3.681673324544022e-05, | |
| "loss": 2.586, | |
| "step": 4410 | |
| }, | |
| { | |
| "epoch": 36.833333333333336, | |
| "grad_norm": 1.5758910277543976, | |
| "learning_rate": 3.6670301389870404e-05, | |
| "loss": 2.6135, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 36.916666666666664, | |
| "grad_norm": 1.597188120860332, | |
| "learning_rate": 3.65239605698517e-05, | |
| "loss": 2.582, | |
| "step": 4430 | |
| }, | |
| { | |
| "epoch": 37.0, | |
| "grad_norm": 1.598738324895944, | |
| "learning_rate": 3.637771307061668e-05, | |
| "loss": 2.643, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 37.083333333333336, | |
| "grad_norm": 1.6188440361840821, | |
| "learning_rate": 3.6231561175940636e-05, | |
| "loss": 2.6323, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 37.166666666666664, | |
| "grad_norm": 1.6459592296237158, | |
| "learning_rate": 3.608550716810593e-05, | |
| "loss": 2.6025, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 37.25, | |
| "grad_norm": 1.6571128325138293, | |
| "learning_rate": 3.593955332786634e-05, | |
| "loss": 2.5545, | |
| "step": 4470 | |
| }, | |
| { | |
| "epoch": 37.333333333333336, | |
| "grad_norm": 1.6424408808829116, | |
| "learning_rate": 3.579370193441142e-05, | |
| "loss": 2.6108, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 37.416666666666664, | |
| "grad_norm": 1.763945464314081, | |
| "learning_rate": 3.5647955265330975e-05, | |
| "loss": 2.5903, | |
| "step": 4490 | |
| }, | |
| { | |
| "epoch": 37.5, | |
| "grad_norm": 1.7389497650155978, | |
| "learning_rate": 3.5502315596579415e-05, | |
| "loss": 2.5743, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 37.583333333333336, | |
| "grad_norm": 1.7754311132063358, | |
| "learning_rate": 3.535678520244027e-05, | |
| "loss": 2.6151, | |
| "step": 4510 | |
| }, | |
| { | |
| "epoch": 37.666666666666664, | |
| "grad_norm": 1.6947761777214185, | |
| "learning_rate": 3.521136635549066e-05, | |
| "loss": 2.5714, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 37.75, | |
| "grad_norm": 1.6005241936067942, | |
| "learning_rate": 3.506606132656578e-05, | |
| "loss": 2.5687, | |
| "step": 4530 | |
| }, | |
| { | |
| "epoch": 37.833333333333336, | |
| "grad_norm": 1.6353816212910275, | |
| "learning_rate": 3.492087238472348e-05, | |
| "loss": 2.566, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 37.916666666666664, | |
| "grad_norm": 1.730030219525249, | |
| "learning_rate": 3.477580179720882e-05, | |
| "loss": 2.5642, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 38.0, | |
| "grad_norm": 1.6220450310341685, | |
| "learning_rate": 3.4630851829418646e-05, | |
| "loss": 2.5748, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 38.083333333333336, | |
| "grad_norm": 1.5773917279213872, | |
| "learning_rate": 3.4486024744866246e-05, | |
| "loss": 2.5736, | |
| "step": 4570 | |
| }, | |
| { | |
| "epoch": 38.166666666666664, | |
| "grad_norm": 1.703940450053132, | |
| "learning_rate": 3.4341322805145965e-05, | |
| "loss": 2.5727, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 38.25, | |
| "grad_norm": 1.670434634361902, | |
| "learning_rate": 3.4196748269897916e-05, | |
| "loss": 2.5337, | |
| "step": 4590 | |
| }, | |
| { | |
| "epoch": 38.333333333333336, | |
| "grad_norm": 1.748546609891627, | |
| "learning_rate": 3.405230339677269e-05, | |
| "loss": 2.5368, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 38.416666666666664, | |
| "grad_norm": 1.7432192497172692, | |
| "learning_rate": 3.390799044139609e-05, | |
| "loss": 2.5383, | |
| "step": 4610 | |
| }, | |
| { | |
| "epoch": 38.5, | |
| "grad_norm": 1.68043558184648, | |
| "learning_rate": 3.376381165733392e-05, | |
| "loss": 2.5786, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 38.583333333333336, | |
| "grad_norm": 1.6498367373294605, | |
| "learning_rate": 3.3619769296056794e-05, | |
| "loss": 2.5218, | |
| "step": 4630 | |
| }, | |
| { | |
| "epoch": 38.666666666666664, | |
| "grad_norm": 1.67616242739687, | |
| "learning_rate": 3.347586560690495e-05, | |
| "loss": 2.5737, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 38.75, | |
| "grad_norm": 1.6551678559155574, | |
| "learning_rate": 3.3332102837053155e-05, | |
| "loss": 2.5641, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 38.833333333333336, | |
| "grad_norm": 1.7181616036077807, | |
| "learning_rate": 3.318848323147563e-05, | |
| "loss": 2.5637, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 38.916666666666664, | |
| "grad_norm": 1.6552232402740823, | |
| "learning_rate": 3.3045009032910934e-05, | |
| "loss": 2.5467, | |
| "step": 4670 | |
| }, | |
| { | |
| "epoch": 39.0, | |
| "grad_norm": 1.6329459541940903, | |
| "learning_rate": 3.2901682481827016e-05, | |
| "loss": 2.479, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 39.083333333333336, | |
| "grad_norm": 1.6276048177082032, | |
| "learning_rate": 3.2758505816386125e-05, | |
| "loss": 2.5556, | |
| "step": 4690 | |
| }, | |
| { | |
| "epoch": 39.166666666666664, | |
| "grad_norm": 1.6625762893267246, | |
| "learning_rate": 3.261548127240998e-05, | |
| "loss": 2.5671, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 39.25, | |
| "grad_norm": 1.6145824145242682, | |
| "learning_rate": 3.247261108334476e-05, | |
| "loss": 2.5141, | |
| "step": 4710 | |
| }, | |
| { | |
| "epoch": 39.333333333333336, | |
| "grad_norm": 1.6704733846919662, | |
| "learning_rate": 3.23298974802263e-05, | |
| "loss": 2.5139, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 39.416666666666664, | |
| "grad_norm": 1.6571288026603628, | |
| "learning_rate": 3.218734269164519e-05, | |
| "loss": 2.5192, | |
| "step": 4730 | |
| }, | |
| { | |
| "epoch": 39.5, | |
| "grad_norm": 1.692819265007373, | |
| "learning_rate": 3.204494894371201e-05, | |
| "loss": 2.478, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 39.583333333333336, | |
| "grad_norm": 1.6147091806239702, | |
| "learning_rate": 3.190271846002255e-05, | |
| "loss": 2.5219, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 39.666666666666664, | |
| "grad_norm": 1.6796608146499423, | |
| "learning_rate": 3.1760653461623104e-05, | |
| "loss": 2.4777, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 39.75, | |
| "grad_norm": 1.5684381942610677, | |
| "learning_rate": 3.161875616697578e-05, | |
| "loss": 2.5027, | |
| "step": 4770 | |
| }, | |
| { | |
| "epoch": 39.833333333333336, | |
| "grad_norm": 1.672736115488796, | |
| "learning_rate": 3.147702879192382e-05, | |
| "loss": 2.558, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 39.916666666666664, | |
| "grad_norm": 1.6522925979957301, | |
| "learning_rate": 3.1335473549657086e-05, | |
| "loss": 2.4975, | |
| "step": 4790 | |
| }, | |
| { | |
| "epoch": 40.0, | |
| "grad_norm": 1.6155594449052573, | |
| "learning_rate": 3.11940926506774e-05, | |
| "loss": 2.479, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 40.083333333333336, | |
| "grad_norm": 1.6970271567451685, | |
| "learning_rate": 3.105288830276408e-05, | |
| "loss": 2.476, | |
| "step": 4810 | |
| }, | |
| { | |
| "epoch": 40.166666666666664, | |
| "grad_norm": 1.7229438247600555, | |
| "learning_rate": 3.091186271093947e-05, | |
| "loss": 2.4135, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 40.25, | |
| "grad_norm": 1.715060001024351, | |
| "learning_rate": 3.077101807743449e-05, | |
| "loss": 2.504, | |
| "step": 4830 | |
| }, | |
| { | |
| "epoch": 40.333333333333336, | |
| "grad_norm": 1.7089124566340685, | |
| "learning_rate": 3.063035660165422e-05, | |
| "loss": 2.4424, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 40.416666666666664, | |
| "grad_norm": 1.6650822340215143, | |
| "learning_rate": 3.04898804801436e-05, | |
| "loss": 2.4578, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 40.5, | |
| "grad_norm": 1.7520598822380118, | |
| "learning_rate": 3.0349591906553102e-05, | |
| "loss": 2.4984, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 40.583333333333336, | |
| "grad_norm": 1.6747969290773286, | |
| "learning_rate": 3.0209493071604496e-05, | |
| "loss": 2.4733, | |
| "step": 4870 | |
| }, | |
| { | |
| "epoch": 40.666666666666664, | |
| "grad_norm": 1.7424037781997577, | |
| "learning_rate": 3.006958616305662e-05, | |
| "loss": 2.4649, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 40.75, | |
| "grad_norm": 1.7468351629147107, | |
| "learning_rate": 2.9929873365671204e-05, | |
| "loss": 2.4844, | |
| "step": 4890 | |
| }, | |
| { | |
| "epoch": 40.833333333333336, | |
| "grad_norm": 1.748554177435112, | |
| "learning_rate": 2.979035686117882e-05, | |
| "loss": 2.4461, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 40.916666666666664, | |
| "grad_norm": 1.730675540735763, | |
| "learning_rate": 2.96510388282447e-05, | |
| "loss": 2.4638, | |
| "step": 4910 | |
| }, | |
| { | |
| "epoch": 41.0, | |
| "grad_norm": 1.713609464129324, | |
| "learning_rate": 2.951192144243485e-05, | |
| "loss": 2.4709, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 41.083333333333336, | |
| "grad_norm": 1.7412075143246637, | |
| "learning_rate": 2.937300687618194e-05, | |
| "loss": 2.4503, | |
| "step": 4930 | |
| }, | |
| { | |
| "epoch": 41.166666666666664, | |
| "grad_norm": 1.6941772034794798, | |
| "learning_rate": 2.9234297298751482e-05, | |
| "loss": 2.4416, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 41.25, | |
| "grad_norm": 1.7057349828567547, | |
| "learning_rate": 2.909579487620792e-05, | |
| "loss": 2.4239, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 41.333333333333336, | |
| "grad_norm": 1.6973667619464412, | |
| "learning_rate": 2.8957501771380773e-05, | |
| "loss": 2.4065, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 41.416666666666664, | |
| "grad_norm": 1.7278955759135437, | |
| "learning_rate": 2.8819420143830936e-05, | |
| "loss": 2.4396, | |
| "step": 4970 | |
| }, | |
| { | |
| "epoch": 41.5, | |
| "grad_norm": 1.7402071110466013, | |
| "learning_rate": 2.8681552149816874e-05, | |
| "loss": 2.4613, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 41.583333333333336, | |
| "grad_norm": 1.7573330373667313, | |
| "learning_rate": 2.854389994226101e-05, | |
| "loss": 2.4731, | |
| "step": 4990 | |
| }, | |
| { | |
| "epoch": 41.666666666666664, | |
| "grad_norm": 1.7360414626667955, | |
| "learning_rate": 2.840646567071608e-05, | |
| "loss": 2.4026, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 41.75, | |
| "grad_norm": 1.730996423872984, | |
| "learning_rate": 2.8269251481331554e-05, | |
| "loss": 2.4054, | |
| "step": 5010 | |
| }, | |
| { | |
| "epoch": 41.833333333333336, | |
| "grad_norm": 1.7666865845523108, | |
| "learning_rate": 2.8132259516820147e-05, | |
| "loss": 2.4045, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 41.916666666666664, | |
| "grad_norm": 1.7026313976383012, | |
| "learning_rate": 2.7995491916424372e-05, | |
| "loss": 2.4321, | |
| "step": 5030 | |
| }, | |
| { | |
| "epoch": 42.0, | |
| "grad_norm": 1.7009755841430976, | |
| "learning_rate": 2.785895081588307e-05, | |
| "loss": 2.4107, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 42.083333333333336, | |
| "grad_norm": 1.684246742022289, | |
| "learning_rate": 2.7722638347398127e-05, | |
| "loss": 2.4196, | |
| "step": 5050 | |
| }, | |
| { | |
| "epoch": 42.166666666666664, | |
| "grad_norm": 1.7279417992830646, | |
| "learning_rate": 2.7586556639601152e-05, | |
| "loss": 2.3864, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 42.25, | |
| "grad_norm": 1.7421171576151053, | |
| "learning_rate": 2.7450707817520226e-05, | |
| "loss": 2.3706, | |
| "step": 5070 | |
| }, | |
| { | |
| "epoch": 42.333333333333336, | |
| "grad_norm": 1.7990456779876953, | |
| "learning_rate": 2.7315094002546726e-05, | |
| "loss": 2.3967, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 42.416666666666664, | |
| "grad_norm": 1.7436449600358226, | |
| "learning_rate": 2.71797173124022e-05, | |
| "loss": 2.397, | |
| "step": 5090 | |
| }, | |
| { | |
| "epoch": 42.5, | |
| "grad_norm": 1.765241733239394, | |
| "learning_rate": 2.7044579861105303e-05, | |
| "loss": 2.4027, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 42.583333333333336, | |
| "grad_norm": 1.7248613771771037, | |
| "learning_rate": 2.6909683758938784e-05, | |
| "loss": 2.405, | |
| "step": 5110 | |
| }, | |
| { | |
| "epoch": 42.666666666666664, | |
| "grad_norm": 1.7675908040809067, | |
| "learning_rate": 2.6775031112416504e-05, | |
| "loss": 2.4289, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 42.75, | |
| "grad_norm": 1.7713118934989691, | |
| "learning_rate": 2.6640624024250583e-05, | |
| "loss": 2.4165, | |
| "step": 5130 | |
| }, | |
| { | |
| "epoch": 42.833333333333336, | |
| "grad_norm": 1.7085139559029825, | |
| "learning_rate": 2.6506464593318518e-05, | |
| "loss": 2.4117, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 42.916666666666664, | |
| "grad_norm": 1.7100559558971147, | |
| "learning_rate": 2.6372554914630496e-05, | |
| "loss": 2.3823, | |
| "step": 5150 | |
| }, | |
| { | |
| "epoch": 43.0, | |
| "grad_norm": 1.7326940002374518, | |
| "learning_rate": 2.623889707929653e-05, | |
| "loss": 2.396, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 43.083333333333336, | |
| "grad_norm": 1.7051025249050633, | |
| "learning_rate": 2.610549317449397e-05, | |
| "loss": 2.384, | |
| "step": 5170 | |
| }, | |
| { | |
| "epoch": 43.166666666666664, | |
| "grad_norm": 1.7442351483301464, | |
| "learning_rate": 2.5972345283434773e-05, | |
| "loss": 2.3533, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 43.25, | |
| "grad_norm": 1.7692898549863563, | |
| "learning_rate": 2.5839455485333073e-05, | |
| "loss": 2.3238, | |
| "step": 5190 | |
| }, | |
| { | |
| "epoch": 43.333333333333336, | |
| "grad_norm": 1.769848456172322, | |
| "learning_rate": 2.5706825855372648e-05, | |
| "loss": 2.3651, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 43.416666666666664, | |
| "grad_norm": 1.7509010583753992, | |
| "learning_rate": 2.557445846467452e-05, | |
| "loss": 2.3469, | |
| "step": 5210 | |
| }, | |
| { | |
| "epoch": 43.5, | |
| "grad_norm": 1.8118265150359065, | |
| "learning_rate": 2.5442355380264677e-05, | |
| "loss": 2.3342, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 43.583333333333336, | |
| "grad_norm": 1.7464354178661934, | |
| "learning_rate": 2.531051866504169e-05, | |
| "loss": 2.3568, | |
| "step": 5230 | |
| }, | |
| { | |
| "epoch": 43.666666666666664, | |
| "grad_norm": 1.7635725126443587, | |
| "learning_rate": 2.517895037774461e-05, | |
| "loss": 2.3636, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 43.75, | |
| "grad_norm": 1.7990824533071317, | |
| "learning_rate": 2.5047652572920708e-05, | |
| "loss": 2.3662, | |
| "step": 5250 | |
| }, | |
| { | |
| "epoch": 43.833333333333336, | |
| "grad_norm": 1.7927451399446168, | |
| "learning_rate": 2.4916627300893508e-05, | |
| "loss": 2.3958, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 43.916666666666664, | |
| "grad_norm": 1.7412871356408077, | |
| "learning_rate": 2.478587660773065e-05, | |
| "loss": 2.3534, | |
| "step": 5270 | |
| }, | |
| { | |
| "epoch": 44.0, | |
| "grad_norm": 1.6798177979077018, | |
| "learning_rate": 2.465540253521206e-05, | |
| "loss": 2.3638, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 44.083333333333336, | |
| "grad_norm": 1.775240280114014, | |
| "learning_rate": 2.452520712079795e-05, | |
| "loss": 2.3296, | |
| "step": 5290 | |
| }, | |
| { | |
| "epoch": 44.166666666666664, | |
| "grad_norm": 1.7806722808377107, | |
| "learning_rate": 2.4395292397597077e-05, | |
| "loss": 2.344, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 44.25, | |
| "grad_norm": 1.8002446299789217, | |
| "learning_rate": 2.4265660394334987e-05, | |
| "loss": 2.342, | |
| "step": 5310 | |
| }, | |
| { | |
| "epoch": 44.333333333333336, | |
| "grad_norm": 1.8563886751207181, | |
| "learning_rate": 2.413631313532229e-05, | |
| "loss": 2.3051, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 44.416666666666664, | |
| "grad_norm": 1.8638771751605503, | |
| "learning_rate": 2.4007252640423117e-05, | |
| "loss": 2.3221, | |
| "step": 5330 | |
| }, | |
| { | |
| "epoch": 44.5, | |
| "grad_norm": 1.7677865764301184, | |
| "learning_rate": 2.387848092502351e-05, | |
| "loss": 2.3272, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 44.583333333333336, | |
| "grad_norm": 1.7784717375939063, | |
| "learning_rate": 2.375000000000001e-05, | |
| "loss": 2.3119, | |
| "step": 5350 | |
| }, | |
| { | |
| "epoch": 44.666666666666664, | |
| "grad_norm": 1.7791333924278296, | |
| "learning_rate": 2.3621811871688184e-05, | |
| "loss": 2.3898, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 44.75, | |
| "grad_norm": 1.7359160029662288, | |
| "learning_rate": 2.3493918541851386e-05, | |
| "loss": 2.337, | |
| "step": 5370 | |
| }, | |
| { | |
| "epoch": 44.833333333333336, | |
| "grad_norm": 1.7646122281149457, | |
| "learning_rate": 2.336632200764942e-05, | |
| "loss": 2.3179, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 44.916666666666664, | |
| "grad_norm": 1.7034894920676678, | |
| "learning_rate": 2.323902426160737e-05, | |
| "loss": 2.3159, | |
| "step": 5390 | |
| }, | |
| { | |
| "epoch": 45.0, | |
| "grad_norm": 1.7859372490242742, | |
| "learning_rate": 2.311202729158454e-05, | |
| "loss": 2.2767, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 45.083333333333336, | |
| "grad_norm": 1.7977422197152608, | |
| "learning_rate": 2.298533308074331e-05, | |
| "loss": 2.2778, | |
| "step": 5410 | |
| }, | |
| { | |
| "epoch": 45.166666666666664, | |
| "grad_norm": 1.6771182970781784, | |
| "learning_rate": 2.2858943607518288e-05, | |
| "loss": 2.302, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 45.25, | |
| "grad_norm": 1.8156171499795002, | |
| "learning_rate": 2.2732860845585298e-05, | |
| "loss": 2.2936, | |
| "step": 5430 | |
| }, | |
| { | |
| "epoch": 45.333333333333336, | |
| "grad_norm": 1.8630881539341702, | |
| "learning_rate": 2.2607086763830653e-05, | |
| "loss": 2.3037, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 45.416666666666664, | |
| "grad_norm": 1.8006195856375096, | |
| "learning_rate": 2.2481623326320366e-05, | |
| "loss": 2.2957, | |
| "step": 5450 | |
| }, | |
| { | |
| "epoch": 45.5, | |
| "grad_norm": 1.8121194111043892, | |
| "learning_rate": 2.235647249226944e-05, | |
| "loss": 2.3331, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 45.583333333333336, | |
| "grad_norm": 1.7375642476450228, | |
| "learning_rate": 2.223163621601138e-05, | |
| "loss": 2.271, | |
| "step": 5470 | |
| }, | |
| { | |
| "epoch": 45.666666666666664, | |
| "grad_norm": 1.8151397555641864, | |
| "learning_rate": 2.210711644696756e-05, | |
| "loss": 2.3176, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 45.75, | |
| "grad_norm": 1.7972812359236987, | |
| "learning_rate": 2.1982915129616885e-05, | |
| "loss": 2.3193, | |
| "step": 5490 | |
| }, | |
| { | |
| "epoch": 45.833333333333336, | |
| "grad_norm": 1.734626889194736, | |
| "learning_rate": 2.185903420346532e-05, | |
| "loss": 2.2987, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 45.916666666666664, | |
| "grad_norm": 1.7912365227010583, | |
| "learning_rate": 2.1735475603015695e-05, | |
| "loss": 2.3239, | |
| "step": 5510 | |
| }, | |
| { | |
| "epoch": 46.0, | |
| "grad_norm": 1.7539200474253722, | |
| "learning_rate": 2.161224125773743e-05, | |
| "loss": 2.2612, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 46.083333333333336, | |
| "grad_norm": 1.8031528437694277, | |
| "learning_rate": 2.1489333092036477e-05, | |
| "loss": 2.2388, | |
| "step": 5530 | |
| }, | |
| { | |
| "epoch": 46.166666666666664, | |
| "grad_norm": 1.8692567603884531, | |
| "learning_rate": 2.1366753025225178e-05, | |
| "loss": 2.2835, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 46.25, | |
| "grad_norm": 1.7144983591164753, | |
| "learning_rate": 2.1244502971492338e-05, | |
| "loss": 2.2616, | |
| "step": 5550 | |
| }, | |
| { | |
| "epoch": 46.333333333333336, | |
| "grad_norm": 1.8922732395998376, | |
| "learning_rate": 2.1122584839873397e-05, | |
| "loss": 2.2444, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 46.416666666666664, | |
| "grad_norm": 1.850429139754133, | |
| "learning_rate": 2.1001000534220486e-05, | |
| "loss": 2.2746, | |
| "step": 5570 | |
| }, | |
| { | |
| "epoch": 46.5, | |
| "grad_norm": 1.8272599349874599, | |
| "learning_rate": 2.087975195317282e-05, | |
| "loss": 2.243, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 46.583333333333336, | |
| "grad_norm": 1.8245316753695673, | |
| "learning_rate": 2.0758840990126954e-05, | |
| "loss": 2.2913, | |
| "step": 5590 | |
| }, | |
| { | |
| "epoch": 46.666666666666664, | |
| "grad_norm": 1.8191117022055898, | |
| "learning_rate": 2.063826953320731e-05, | |
| "loss": 2.25, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 46.75, | |
| "grad_norm": 1.7899586794255624, | |
| "learning_rate": 2.0518039465236593e-05, | |
| "loss": 2.2997, | |
| "step": 5610 | |
| }, | |
| { | |
| "epoch": 46.833333333333336, | |
| "grad_norm": 1.778294637998524, | |
| "learning_rate": 2.0398152663706455e-05, | |
| "loss": 2.2726, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 46.916666666666664, | |
| "grad_norm": 1.7994483764781877, | |
| "learning_rate": 2.0278611000748184e-05, | |
| "loss": 2.2825, | |
| "step": 5630 | |
| }, | |
| { | |
| "epoch": 47.0, | |
| "grad_norm": 1.770250389039819, | |
| "learning_rate": 2.0159416343103403e-05, | |
| "loss": 2.2678, | |
| "step": 5640 | |
| }, | |
| { | |
| "epoch": 47.083333333333336, | |
| "grad_norm": 1.8162216256767922, | |
| "learning_rate": 2.0040570552094998e-05, | |
| "loss": 2.2531, | |
| "step": 5650 | |
| }, | |
| { | |
| "epoch": 47.166666666666664, | |
| "grad_norm": 1.751028167593907, | |
| "learning_rate": 1.992207548359799e-05, | |
| "loss": 2.2443, | |
| "step": 5660 | |
| }, | |
| { | |
| "epoch": 47.25, | |
| "grad_norm": 1.7827413238840657, | |
| "learning_rate": 1.9803932988010596e-05, | |
| "loss": 2.2203, | |
| "step": 5670 | |
| }, | |
| { | |
| "epoch": 47.333333333333336, | |
| "grad_norm": 1.8282789507868482, | |
| "learning_rate": 1.968614491022529e-05, | |
| "loss": 2.2223, | |
| "step": 5680 | |
| }, | |
| { | |
| "epoch": 47.416666666666664, | |
| "grad_norm": 1.890921136031601, | |
| "learning_rate": 1.956871308960006e-05, | |
| "loss": 2.2202, | |
| "step": 5690 | |
| }, | |
| { | |
| "epoch": 47.5, | |
| "grad_norm": 1.9082690318350601, | |
| "learning_rate": 1.945163935992961e-05, | |
| "loss": 2.1656, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 47.583333333333336, | |
| "grad_norm": 1.8358749054322836, | |
| "learning_rate": 1.933492554941676e-05, | |
| "loss": 2.2272, | |
| "step": 5710 | |
| }, | |
| { | |
| "epoch": 47.666666666666664, | |
| "grad_norm": 1.7603033431858066, | |
| "learning_rate": 1.9218573480643932e-05, | |
| "loss": 2.2388, | |
| "step": 5720 | |
| }, | |
| { | |
| "epoch": 47.75, | |
| "grad_norm": 1.7777008033353643, | |
| "learning_rate": 1.9102584970544597e-05, | |
| "loss": 2.2444, | |
| "step": 5730 | |
| }, | |
| { | |
| "epoch": 47.833333333333336, | |
| "grad_norm": 1.7235752690465385, | |
| "learning_rate": 1.8986961830375014e-05, | |
| "loss": 2.2501, | |
| "step": 5740 | |
| }, | |
| { | |
| "epoch": 47.916666666666664, | |
| "grad_norm": 1.7674137608101972, | |
| "learning_rate": 1.8871705865685837e-05, | |
| "loss": 2.2531, | |
| "step": 5750 | |
| }, | |
| { | |
| "epoch": 48.0, | |
| "grad_norm": 1.8524843005751934, | |
| "learning_rate": 1.875681887629402e-05, | |
| "loss": 2.2546, | |
| "step": 5760 | |
| }, | |
| { | |
| "epoch": 48.083333333333336, | |
| "grad_norm": 1.942622887689954, | |
| "learning_rate": 1.864230265625464e-05, | |
| "loss": 2.2087, | |
| "step": 5770 | |
| }, | |
| { | |
| "epoch": 48.166666666666664, | |
| "grad_norm": 1.9911505300386798, | |
| "learning_rate": 1.852815899383288e-05, | |
| "loss": 2.2173, | |
| "step": 5780 | |
| }, | |
| { | |
| "epoch": 48.25, | |
| "grad_norm": 1.7969305278657013, | |
| "learning_rate": 1.8414389671476188e-05, | |
| "loss": 2.2082, | |
| "step": 5790 | |
| }, | |
| { | |
| "epoch": 48.333333333333336, | |
| "grad_norm": 1.8068130328419658, | |
| "learning_rate": 1.8300996465786317e-05, | |
| "loss": 2.1907, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 48.416666666666664, | |
| "grad_norm": 1.9060448708150988, | |
| "learning_rate": 1.8187981147491703e-05, | |
| "loss": 2.1587, | |
| "step": 5810 | |
| }, | |
| { | |
| "epoch": 48.5, | |
| "grad_norm": 1.8325226537493382, | |
| "learning_rate": 1.8075345481419723e-05, | |
| "loss": 2.221, | |
| "step": 5820 | |
| }, | |
| { | |
| "epoch": 48.583333333333336, | |
| "grad_norm": 1.7902451649922695, | |
| "learning_rate": 1.7963091226469206e-05, | |
| "loss": 2.209, | |
| "step": 5830 | |
| }, | |
| { | |
| "epoch": 48.666666666666664, | |
| "grad_norm": 1.8156269329540056, | |
| "learning_rate": 1.7851220135582877e-05, | |
| "loss": 2.2058, | |
| "step": 5840 | |
| }, | |
| { | |
| "epoch": 48.75, | |
| "grad_norm": 1.8747854745847887, | |
| "learning_rate": 1.773973395572011e-05, | |
| "loss": 2.178, | |
| "step": 5850 | |
| }, | |
| { | |
| "epoch": 48.833333333333336, | |
| "grad_norm": 1.7689422907281729, | |
| "learning_rate": 1.7628634427829513e-05, | |
| "loss": 2.192, | |
| "step": 5860 | |
| }, | |
| { | |
| "epoch": 48.916666666666664, | |
| "grad_norm": 1.8435675320610785, | |
| "learning_rate": 1.751792328682183e-05, | |
| "loss": 2.1777, | |
| "step": 5870 | |
| }, | |
| { | |
| "epoch": 49.0, | |
| "grad_norm": 1.8151777153128381, | |
| "learning_rate": 1.740760226154283e-05, | |
| "loss": 2.1876, | |
| "step": 5880 | |
| }, | |
| { | |
| "epoch": 49.083333333333336, | |
| "grad_norm": 1.8714633648257744, | |
| "learning_rate": 1.7297673074746285e-05, | |
| "loss": 2.1742, | |
| "step": 5890 | |
| }, | |
| { | |
| "epoch": 49.166666666666664, | |
| "grad_norm": 1.8095386253254722, | |
| "learning_rate": 1.7188137443067116e-05, | |
| "loss": 2.1511, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 49.25, | |
| "grad_norm": 1.8131894083033082, | |
| "learning_rate": 1.707899707699451e-05, | |
| "loss": 2.1249, | |
| "step": 5910 | |
| }, | |
| { | |
| "epoch": 49.333333333333336, | |
| "grad_norm": 1.8511042289343904, | |
| "learning_rate": 1.697025368084532e-05, | |
| "loss": 2.2309, | |
| "step": 5920 | |
| }, | |
| { | |
| "epoch": 49.416666666666664, | |
| "grad_norm": 1.8848057876023647, | |
| "learning_rate": 1.686190895273733e-05, | |
| "loss": 2.1415, | |
| "step": 5930 | |
| }, | |
| { | |
| "epoch": 49.5, | |
| "grad_norm": 1.7768616410221871, | |
| "learning_rate": 1.6753964584562798e-05, | |
| "loss": 2.1332, | |
| "step": 5940 | |
| }, | |
| { | |
| "epoch": 49.583333333333336, | |
| "grad_norm": 1.7696102705736787, | |
| "learning_rate": 1.6646422261962067e-05, | |
| "loss": 2.1534, | |
| "step": 5950 | |
| }, | |
| { | |
| "epoch": 49.666666666666664, | |
| "grad_norm": 1.7970945141264125, | |
| "learning_rate": 1.653928366429717e-05, | |
| "loss": 2.165, | |
| "step": 5960 | |
| }, | |
| { | |
| "epoch": 49.75, | |
| "grad_norm": 1.783025158193848, | |
| "learning_rate": 1.643255046462568e-05, | |
| "loss": 2.2007, | |
| "step": 5970 | |
| }, | |
| { | |
| "epoch": 49.833333333333336, | |
| "grad_norm": 1.8512771966083985, | |
| "learning_rate": 1.6326224329674502e-05, | |
| "loss": 2.1993, | |
| "step": 5980 | |
| }, | |
| { | |
| "epoch": 49.916666666666664, | |
| "grad_norm": 1.9720699232096712, | |
| "learning_rate": 1.6220306919813932e-05, | |
| "loss": 2.19, | |
| "step": 5990 | |
| }, | |
| { | |
| "epoch": 50.0, | |
| "grad_norm": 1.8555293344344237, | |
| "learning_rate": 1.611479988903165e-05, | |
| "loss": 2.2182, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 50.083333333333336, | |
| "grad_norm": 1.8079500638935564, | |
| "learning_rate": 1.6009704884906963e-05, | |
| "loss": 2.1398, | |
| "step": 6010 | |
| }, | |
| { | |
| "epoch": 50.166666666666664, | |
| "grad_norm": 1.9046930302077287, | |
| "learning_rate": 1.5905023548585002e-05, | |
| "loss": 2.1444, | |
| "step": 6020 | |
| }, | |
| { | |
| "epoch": 50.25, | |
| "grad_norm": 1.8860004076385866, | |
| "learning_rate": 1.580075751475117e-05, | |
| "loss": 2.1669, | |
| "step": 6030 | |
| }, | |
| { | |
| "epoch": 50.333333333333336, | |
| "grad_norm": 1.869337942456936, | |
| "learning_rate": 1.5696908411605575e-05, | |
| "loss": 2.1517, | |
| "step": 6040 | |
| }, | |
| { | |
| "epoch": 50.416666666666664, | |
| "grad_norm": 1.769651025756266, | |
| "learning_rate": 1.5593477860837575e-05, | |
| "loss": 2.1757, | |
| "step": 6050 | |
| }, | |
| { | |
| "epoch": 50.5, | |
| "grad_norm": 1.9143996584029954, | |
| "learning_rate": 1.5490467477600537e-05, | |
| "loss": 2.1326, | |
| "step": 6060 | |
| }, | |
| { | |
| "epoch": 50.583333333333336, | |
| "grad_norm": 1.8756704403369437, | |
| "learning_rate": 1.5387878870486533e-05, | |
| "loss": 2.219, | |
| "step": 6070 | |
| }, | |
| { | |
| "epoch": 50.666666666666664, | |
| "grad_norm": 1.9495348473384462, | |
| "learning_rate": 1.5285713641501237e-05, | |
| "loss": 2.1483, | |
| "step": 6080 | |
| }, | |
| { | |
| "epoch": 50.75, | |
| "grad_norm": 1.8492049648220739, | |
| "learning_rate": 1.518397338603898e-05, | |
| "loss": 2.1778, | |
| "step": 6090 | |
| }, | |
| { | |
| "epoch": 50.833333333333336, | |
| "grad_norm": 1.8806834232666072, | |
| "learning_rate": 1.508265969285772e-05, | |
| "loss": 2.1279, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 50.916666666666664, | |
| "grad_norm": 1.9138196518654345, | |
| "learning_rate": 1.4981774144054346e-05, | |
| "loss": 2.107, | |
| "step": 6110 | |
| }, | |
| { | |
| "epoch": 51.0, | |
| "grad_norm": 1.8506001736136133, | |
| "learning_rate": 1.4881318315039875e-05, | |
| "loss": 2.1338, | |
| "step": 6120 | |
| }, | |
| { | |
| "epoch": 51.083333333333336, | |
| "grad_norm": 1.8117556523376617, | |
| "learning_rate": 1.4781293774514936e-05, | |
| "loss": 2.1416, | |
| "step": 6130 | |
| }, | |
| { | |
| "epoch": 51.166666666666664, | |
| "grad_norm": 1.8692626275532318, | |
| "learning_rate": 1.4681702084445201e-05, | |
| "loss": 2.1311, | |
| "step": 6140 | |
| }, | |
| { | |
| "epoch": 51.25, | |
| "grad_norm": 1.893202860639399, | |
| "learning_rate": 1.458254480003702e-05, | |
| "loss": 2.187, | |
| "step": 6150 | |
| }, | |
| { | |
| "epoch": 51.333333333333336, | |
| "grad_norm": 1.8918132988427327, | |
| "learning_rate": 1.448382346971319e-05, | |
| "loss": 2.112, | |
| "step": 6160 | |
| }, | |
| { | |
| "epoch": 51.416666666666664, | |
| "grad_norm": 1.8718935346243017, | |
| "learning_rate": 1.438553963508866e-05, | |
| "loss": 2.1231, | |
| "step": 6170 | |
| }, | |
| { | |
| "epoch": 51.5, | |
| "grad_norm": 1.833007097117102, | |
| "learning_rate": 1.428769483094658e-05, | |
| "loss": 2.1095, | |
| "step": 6180 | |
| }, | |
| { | |
| "epoch": 51.583333333333336, | |
| "grad_norm": 1.9388102746247764, | |
| "learning_rate": 1.4190290585214231e-05, | |
| "loss": 2.1837, | |
| "step": 6190 | |
| }, | |
| { | |
| "epoch": 51.666666666666664, | |
| "grad_norm": 1.8802597024791787, | |
| "learning_rate": 1.4093328418939246e-05, | |
| "loss": 2.1248, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 51.75, | |
| "grad_norm": 1.8851077070756463, | |
| "learning_rate": 1.3996809846265802e-05, | |
| "loss": 2.1566, | |
| "step": 6210 | |
| }, | |
| { | |
| "epoch": 51.833333333333336, | |
| "grad_norm": 1.9932537740865202, | |
| "learning_rate": 1.390073637441101e-05, | |
| "loss": 2.1192, | |
| "step": 6220 | |
| }, | |
| { | |
| "epoch": 51.916666666666664, | |
| "grad_norm": 1.9334119306679816, | |
| "learning_rate": 1.3805109503641356e-05, | |
| "loss": 2.1184, | |
| "step": 6230 | |
| }, | |
| { | |
| "epoch": 52.0, | |
| "grad_norm": 1.9062437463876674, | |
| "learning_rate": 1.3709930727249264e-05, | |
| "loss": 2.0828, | |
| "step": 6240 | |
| }, | |
| { | |
| "epoch": 52.083333333333336, | |
| "grad_norm": 1.9384973481646945, | |
| "learning_rate": 1.3615201531529845e-05, | |
| "loss": 2.1209, | |
| "step": 6250 | |
| }, | |
| { | |
| "epoch": 52.166666666666664, | |
| "grad_norm": 1.8927348950848608, | |
| "learning_rate": 1.3520923395757577e-05, | |
| "loss": 2.1096, | |
| "step": 6260 | |
| }, | |
| { | |
| "epoch": 52.25, | |
| "grad_norm": 1.789483499758406, | |
| "learning_rate": 1.342709779216332e-05, | |
| "loss": 2.1332, | |
| "step": 6270 | |
| }, | |
| { | |
| "epoch": 52.333333333333336, | |
| "grad_norm": 1.9375062757821118, | |
| "learning_rate": 1.3333726185911221e-05, | |
| "loss": 2.1344, | |
| "step": 6280 | |
| }, | |
| { | |
| "epoch": 52.416666666666664, | |
| "grad_norm": 1.9680400961148559, | |
| "learning_rate": 1.3240810035075934e-05, | |
| "loss": 2.0862, | |
| "step": 6290 | |
| }, | |
| { | |
| "epoch": 52.5, | |
| "grad_norm": 1.9250385949365376, | |
| "learning_rate": 1.3148350790619758e-05, | |
| "loss": 2.102, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 52.583333333333336, | |
| "grad_norm": 1.8549964705276842, | |
| "learning_rate": 1.3056349896370031e-05, | |
| "loss": 2.0562, | |
| "step": 6310 | |
| }, | |
| { | |
| "epoch": 52.666666666666664, | |
| "grad_norm": 1.8750122705693866, | |
| "learning_rate": 1.2964808788996606e-05, | |
| "loss": 2.1295, | |
| "step": 6320 | |
| }, | |
| { | |
| "epoch": 52.75, | |
| "grad_norm": 1.8291355828473275, | |
| "learning_rate": 1.2873728897989336e-05, | |
| "loss": 2.1423, | |
| "step": 6330 | |
| }, | |
| { | |
| "epoch": 52.833333333333336, | |
| "grad_norm": 1.8598660373642286, | |
| "learning_rate": 1.2783111645635851e-05, | |
| "loss": 2.078, | |
| "step": 6340 | |
| }, | |
| { | |
| "epoch": 52.916666666666664, | |
| "grad_norm": 2.0494134901317342, | |
| "learning_rate": 1.2692958446999248e-05, | |
| "loss": 2.0859, | |
| "step": 6350 | |
| }, | |
| { | |
| "epoch": 53.0, | |
| "grad_norm": 1.8576071533471177, | |
| "learning_rate": 1.2603270709896092e-05, | |
| "loss": 2.1375, | |
| "step": 6360 | |
| }, | |
| { | |
| "epoch": 53.083333333333336, | |
| "grad_norm": 1.9020332850723705, | |
| "learning_rate": 1.2514049834874331e-05, | |
| "loss": 2.1182, | |
| "step": 6370 | |
| }, | |
| { | |
| "epoch": 53.166666666666664, | |
| "grad_norm": 1.9821164351559317, | |
| "learning_rate": 1.2425297215191518e-05, | |
| "loss": 2.0524, | |
| "step": 6380 | |
| }, | |
| { | |
| "epoch": 53.25, | |
| "grad_norm": 1.8557376706848092, | |
| "learning_rate": 1.2337014236793001e-05, | |
| "loss": 2.0905, | |
| "step": 6390 | |
| }, | |
| { | |
| "epoch": 53.333333333333336, | |
| "grad_norm": 1.9772259951841884, | |
| "learning_rate": 1.2249202278290264e-05, | |
| "loss": 2.1032, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 53.416666666666664, | |
| "grad_norm": 1.8813187621467282, | |
| "learning_rate": 1.2161862710939476e-05, | |
| "loss": 2.0744, | |
| "step": 6410 | |
| }, | |
| { | |
| "epoch": 53.5, | |
| "grad_norm": 1.8991980265558108, | |
| "learning_rate": 1.2074996898619982e-05, | |
| "loss": 2.069, | |
| "step": 6420 | |
| }, | |
| { | |
| "epoch": 53.583333333333336, | |
| "grad_norm": 1.9020290858655116, | |
| "learning_rate": 1.1988606197813097e-05, | |
| "loss": 2.017, | |
| "step": 6430 | |
| }, | |
| { | |
| "epoch": 53.666666666666664, | |
| "grad_norm": 1.971191829580243, | |
| "learning_rate": 1.1902691957580829e-05, | |
| "loss": 2.0785, | |
| "step": 6440 | |
| }, | |
| { | |
| "epoch": 53.75, | |
| "grad_norm": 1.9667061384194768, | |
| "learning_rate": 1.181725551954491e-05, | |
| "loss": 2.112, | |
| "step": 6450 | |
| }, | |
| { | |
| "epoch": 53.833333333333336, | |
| "grad_norm": 1.8449096911898535, | |
| "learning_rate": 1.1732298217865753e-05, | |
| "loss": 2.1488, | |
| "step": 6460 | |
| }, | |
| { | |
| "epoch": 53.916666666666664, | |
| "grad_norm": 1.9513473355479787, | |
| "learning_rate": 1.1647821379221695e-05, | |
| "loss": 2.139, | |
| "step": 6470 | |
| }, | |
| { | |
| "epoch": 54.0, | |
| "grad_norm": 1.8387510776581448, | |
| "learning_rate": 1.1563826322788229e-05, | |
| "loss": 2.0729, | |
| "step": 6480 | |
| }, | |
| { | |
| "epoch": 54.083333333333336, | |
| "grad_norm": 1.9127564626037847, | |
| "learning_rate": 1.148031436021742e-05, | |
| "loss": 2.0363, | |
| "step": 6490 | |
| }, | |
| { | |
| "epoch": 54.166666666666664, | |
| "grad_norm": 1.8682808966627151, | |
| "learning_rate": 1.1397286795617434e-05, | |
| "loss": 2.0863, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 54.25, | |
| "grad_norm": 1.9306265210373834, | |
| "learning_rate": 1.1314744925532153e-05, | |
| "loss": 2.0731, | |
| "step": 6510 | |
| }, | |
| { | |
| "epoch": 54.333333333333336, | |
| "grad_norm": 1.8566163058045597, | |
| "learning_rate": 1.123269003892096e-05, | |
| "loss": 2.1084, | |
| "step": 6520 | |
| }, | |
| { | |
| "epoch": 54.416666666666664, | |
| "grad_norm": 1.938810705025288, | |
| "learning_rate": 1.1151123417138555e-05, | |
| "loss": 2.088, | |
| "step": 6530 | |
| }, | |
| { | |
| "epoch": 54.5, | |
| "grad_norm": 1.9740933763783537, | |
| "learning_rate": 1.1070046333915014e-05, | |
| "loss": 2.046, | |
| "step": 6540 | |
| }, | |
| { | |
| "epoch": 54.583333333333336, | |
| "grad_norm": 1.9054877836646102, | |
| "learning_rate": 1.0989460055335845e-05, | |
| "loss": 2.0874, | |
| "step": 6550 | |
| }, | |
| { | |
| "epoch": 54.666666666666664, | |
| "grad_norm": 1.8759874286962435, | |
| "learning_rate": 1.0909365839822227e-05, | |
| "loss": 2.0195, | |
| "step": 6560 | |
| }, | |
| { | |
| "epoch": 54.75, | |
| "grad_norm": 1.9024268412214833, | |
| "learning_rate": 1.0829764938111404e-05, | |
| "loss": 2.027, | |
| "step": 6570 | |
| }, | |
| { | |
| "epoch": 54.833333333333336, | |
| "grad_norm": 1.89899860143384, | |
| "learning_rate": 1.0750658593237084e-05, | |
| "loss": 2.0561, | |
| "step": 6580 | |
| }, | |
| { | |
| "epoch": 54.916666666666664, | |
| "grad_norm": 1.9908390642703466, | |
| "learning_rate": 1.0672048040510083e-05, | |
| "loss": 2.0406, | |
| "step": 6590 | |
| }, | |
| { | |
| "epoch": 55.0, | |
| "grad_norm": 1.8704657087937853, | |
| "learning_rate": 1.0593934507498998e-05, | |
| "loss": 2.0489, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 55.083333333333336, | |
| "grad_norm": 1.9662764011169944, | |
| "learning_rate": 1.051631921401107e-05, | |
| "loss": 2.0423, | |
| "step": 6610 | |
| }, | |
| { | |
| "epoch": 55.166666666666664, | |
| "grad_norm": 1.925907958777621, | |
| "learning_rate": 1.0439203372073096e-05, | |
| "loss": 2.0397, | |
| "step": 6620 | |
| }, | |
| { | |
| "epoch": 55.25, | |
| "grad_norm": 1.8455541156987996, | |
| "learning_rate": 1.0362588185912561e-05, | |
| "loss": 2.0162, | |
| "step": 6630 | |
| }, | |
| { | |
| "epoch": 55.333333333333336, | |
| "grad_norm": 2.0058736382769418, | |
| "learning_rate": 1.0286474851938762e-05, | |
| "loss": 2.0342, | |
| "step": 6640 | |
| }, | |
| { | |
| "epoch": 55.416666666666664, | |
| "grad_norm": 1.9662300209732804, | |
| "learning_rate": 1.0210864558724168e-05, | |
| "loss": 2.0571, | |
| "step": 6650 | |
| }, | |
| { | |
| "epoch": 55.5, | |
| "grad_norm": 1.868026672511851, | |
| "learning_rate": 1.013575848698587e-05, | |
| "loss": 2.0472, | |
| "step": 6660 | |
| }, | |
| { | |
| "epoch": 55.583333333333336, | |
| "grad_norm": 1.9146102432944485, | |
| "learning_rate": 1.0061157809567101e-05, | |
| "loss": 2.0796, | |
| "step": 6670 | |
| }, | |
| { | |
| "epoch": 55.666666666666664, | |
| "grad_norm": 1.908882699486899, | |
| "learning_rate": 9.987063691418975e-06, | |
| "loss": 2.0405, | |
| "step": 6680 | |
| }, | |
| { | |
| "epoch": 55.75, | |
| "grad_norm": 1.8859124208061215, | |
| "learning_rate": 9.91347728958222e-06, | |
| "loss": 2.05, | |
| "step": 6690 | |
| }, | |
| { | |
| "epoch": 55.833333333333336, | |
| "grad_norm": 2.046457612091479, | |
| "learning_rate": 9.840399753169205e-06, | |
| "loss": 2.0167, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 55.916666666666664, | |
| "grad_norm": 2.0031058514374593, | |
| "learning_rate": 9.767832223345916e-06, | |
| "loss": 2.029, | |
| "step": 6710 | |
| }, | |
| { | |
| "epoch": 56.0, | |
| "grad_norm": 1.8877646507004855, | |
| "learning_rate": 9.695775833314159e-06, | |
| "loss": 1.9966, | |
| "step": 6720 | |
| }, | |
| { | |
| "epoch": 56.083333333333336, | |
| "grad_norm": 1.946440649182606, | |
| "learning_rate": 9.624231708293902e-06, | |
| "loss": 2.0408, | |
| "step": 6730 | |
| }, | |
| { | |
| "epoch": 56.166666666666664, | |
| "grad_norm": 1.9878610942713775, | |
| "learning_rate": 9.553200965505643e-06, | |
| "loss": 2.0167, | |
| "step": 6740 | |
| }, | |
| { | |
| "epoch": 56.25, | |
| "grad_norm": 1.8404569798514274, | |
| "learning_rate": 9.482684714153013e-06, | |
| "loss": 2.0059, | |
| "step": 6750 | |
| }, | |
| { | |
| "epoch": 56.333333333333336, | |
| "grad_norm": 1.8852402479837411, | |
| "learning_rate": 9.41268405540541e-06, | |
| "loss": 1.998, | |
| "step": 6760 | |
| }, | |
| { | |
| "epoch": 56.416666666666664, | |
| "grad_norm": 1.9566643955449317, | |
| "learning_rate": 9.343200082380868e-06, | |
| "loss": 2.0184, | |
| "step": 6770 | |
| }, | |
| { | |
| "epoch": 56.5, | |
| "grad_norm": 1.8860099519404343, | |
| "learning_rate": 9.274233880128898e-06, | |
| "loss": 2.0282, | |
| "step": 6780 | |
| }, | |
| { | |
| "epoch": 56.583333333333336, | |
| "grad_norm": 1.917218343149321, | |
| "learning_rate": 9.205786525613647e-06, | |
| "loss": 2.0148, | |
| "step": 6790 | |
| }, | |
| { | |
| "epoch": 56.666666666666664, | |
| "grad_norm": 1.967184988782278, | |
| "learning_rate": 9.13785908769698e-06, | |
| "loss": 2.0099, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 56.75, | |
| "grad_norm": 1.9085229549011888, | |
| "learning_rate": 9.070452627121857e-06, | |
| "loss": 2.0705, | |
| "step": 6810 | |
| }, | |
| { | |
| "epoch": 56.833333333333336, | |
| "grad_norm": 1.8774224209662635, | |
| "learning_rate": 9.00356819649575e-06, | |
| "loss": 2.04, | |
| "step": 6820 | |
| }, | |
| { | |
| "epoch": 56.916666666666664, | |
| "grad_norm": 1.8938890135450999, | |
| "learning_rate": 8.937206840274185e-06, | |
| "loss": 2.0159, | |
| "step": 6830 | |
| }, | |
| { | |
| "epoch": 57.0, | |
| "grad_norm": 1.99223130121885, | |
| "learning_rate": 8.871369594744485e-06, | |
| "loss": 1.9952, | |
| "step": 6840 | |
| }, | |
| { | |
| "epoch": 57.083333333333336, | |
| "grad_norm": 1.9802200191286106, | |
| "learning_rate": 8.806057488009507e-06, | |
| "loss": 1.9986, | |
| "step": 6850 | |
| }, | |
| { | |
| "epoch": 57.166666666666664, | |
| "grad_norm": 1.9036782223250501, | |
| "learning_rate": 8.741271539971674e-06, | |
| "loss": 1.9721, | |
| "step": 6860 | |
| }, | |
| { | |
| "epoch": 57.25, | |
| "grad_norm": 1.9319682986025988, | |
| "learning_rate": 8.677012762316979e-06, | |
| "loss": 2.03, | |
| "step": 6870 | |
| }, | |
| { | |
| "epoch": 57.333333333333336, | |
| "grad_norm": 1.921088887534672, | |
| "learning_rate": 8.613282158499221e-06, | |
| "loss": 2.0344, | |
| "step": 6880 | |
| }, | |
| { | |
| "epoch": 57.416666666666664, | |
| "grad_norm": 1.9295893346860253, | |
| "learning_rate": 8.550080723724344e-06, | |
| "loss": 2.0042, | |
| "step": 6890 | |
| }, | |
| { | |
| "epoch": 57.5, | |
| "grad_norm": 1.9049921106690773, | |
| "learning_rate": 8.487409444934853e-06, | |
| "loss": 2.0105, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 57.583333333333336, | |
| "grad_norm": 1.8880210788770495, | |
| "learning_rate": 8.425269300794467e-06, | |
| "loss": 1.9992, | |
| "step": 6910 | |
| }, | |
| { | |
| "epoch": 57.666666666666664, | |
| "grad_norm": 1.9079454730257757, | |
| "learning_rate": 8.363661261672756e-06, | |
| "loss": 1.9832, | |
| "step": 6920 | |
| }, | |
| { | |
| "epoch": 57.75, | |
| "grad_norm": 1.9726894262564467, | |
| "learning_rate": 8.302586289630078e-06, | |
| "loss": 1.9944, | |
| "step": 6930 | |
| }, | |
| { | |
| "epoch": 57.833333333333336, | |
| "grad_norm": 1.9796579119391366, | |
| "learning_rate": 8.242045338402464e-06, | |
| "loss": 2.0364, | |
| "step": 6940 | |
| }, | |
| { | |
| "epoch": 57.916666666666664, | |
| "grad_norm": 1.9945326222744864, | |
| "learning_rate": 8.182039353386808e-06, | |
| "loss": 1.9792, | |
| "step": 6950 | |
| }, | |
| { | |
| "epoch": 58.0, | |
| "grad_norm": 1.9697839353165247, | |
| "learning_rate": 8.122569271626042e-06, | |
| "loss": 1.9779, | |
| "step": 6960 | |
| }, | |
| { | |
| "epoch": 58.083333333333336, | |
| "grad_norm": 1.9442435395431557, | |
| "learning_rate": 8.063636021794522e-06, | |
| "loss": 2.0368, | |
| "step": 6970 | |
| }, | |
| { | |
| "epoch": 58.166666666666664, | |
| "grad_norm": 2.018867900228189, | |
| "learning_rate": 8.005240524183561e-06, | |
| "loss": 1.9881, | |
| "step": 6980 | |
| }, | |
| { | |
| "epoch": 58.25, | |
| "grad_norm": 1.906416776271774, | |
| "learning_rate": 7.94738369068699e-06, | |
| "loss": 2.0244, | |
| "step": 6990 | |
| }, | |
| { | |
| "epoch": 58.333333333333336, | |
| "grad_norm": 1.9369688844283932, | |
| "learning_rate": 7.890066424786995e-06, | |
| "loss": 1.9745, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 58.416666666666664, | |
| "grad_norm": 1.9479097240412673, | |
| "learning_rate": 7.833289621539925e-06, | |
| "loss": 1.9933, | |
| "step": 7010 | |
| }, | |
| { | |
| "epoch": 58.5, | |
| "grad_norm": 1.9245513021519765, | |
| "learning_rate": 7.777054167562405e-06, | |
| "loss": 1.9937, | |
| "step": 7020 | |
| }, | |
| { | |
| "epoch": 58.583333333333336, | |
| "grad_norm": 2.000050305687525, | |
| "learning_rate": 7.721360941017406e-06, | |
| "loss": 1.9991, | |
| "step": 7030 | |
| }, | |
| { | |
| "epoch": 58.666666666666664, | |
| "grad_norm": 1.8906695147861896, | |
| "learning_rate": 7.66621081160059e-06, | |
| "loss": 1.9523, | |
| "step": 7040 | |
| }, | |
| { | |
| "epoch": 58.75, | |
| "grad_norm": 1.8704295084339606, | |
| "learning_rate": 7.611604640526709e-06, | |
| "loss": 1.9869, | |
| "step": 7050 | |
| }, | |
| { | |
| "epoch": 58.833333333333336, | |
| "grad_norm": 1.9448875974326483, | |
| "learning_rate": 7.557543280516148e-06, | |
| "loss": 1.9574, | |
| "step": 7060 | |
| }, | |
| { | |
| "epoch": 58.916666666666664, | |
| "grad_norm": 1.9421650499318428, | |
| "learning_rate": 7.50402757578163e-06, | |
| "loss": 2.0037, | |
| "step": 7070 | |
| }, | |
| { | |
| "epoch": 59.0, | |
| "grad_norm": 1.955577622666023, | |
| "learning_rate": 7.451058362015012e-06, | |
| "loss": 2.0285, | |
| "step": 7080 | |
| }, | |
| { | |
| "epoch": 59.083333333333336, | |
| "grad_norm": 1.9157906963133233, | |
| "learning_rate": 7.398636466374252e-06, | |
| "loss": 1.9615, | |
| "step": 7090 | |
| }, | |
| { | |
| "epoch": 59.166666666666664, | |
| "grad_norm": 1.9807421252936592, | |
| "learning_rate": 7.3467627074704676e-06, | |
| "loss": 1.941, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 59.25, | |
| "grad_norm": 1.8755400197888255, | |
| "learning_rate": 7.295437895355191e-06, | |
| "loss": 1.9844, | |
| "step": 7110 | |
| }, | |
| { | |
| "epoch": 59.333333333333336, | |
| "grad_norm": 2.0682774168207967, | |
| "learning_rate": 7.244662831507682e-06, | |
| "loss": 1.9693, | |
| "step": 7120 | |
| }, | |
| { | |
| "epoch": 59.416666666666664, | |
| "grad_norm": 1.9313361657929162, | |
| "learning_rate": 7.194438308822426e-06, | |
| "loss": 2.0081, | |
| "step": 7130 | |
| }, | |
| { | |
| "epoch": 59.5, | |
| "grad_norm": 1.9834804771506864, | |
| "learning_rate": 7.144765111596779e-06, | |
| "loss": 1.9498, | |
| "step": 7140 | |
| }, | |
| { | |
| "epoch": 59.583333333333336, | |
| "grad_norm": 1.8972377675308412, | |
| "learning_rate": 7.095644015518659e-06, | |
| "loss": 1.9247, | |
| "step": 7150 | |
| }, | |
| { | |
| "epoch": 59.666666666666664, | |
| "grad_norm": 1.9373781104355443, | |
| "learning_rate": 7.0470757876545026e-06, | |
| "loss": 1.9722, | |
| "step": 7160 | |
| }, | |
| { | |
| "epoch": 59.75, | |
| "grad_norm": 1.8709442779790344, | |
| "learning_rate": 6.999061186437224e-06, | |
| "loss": 1.9674, | |
| "step": 7170 | |
| }, | |
| { | |
| "epoch": 59.833333333333336, | |
| "grad_norm": 1.9749505024755414, | |
| "learning_rate": 6.951600961654432e-06, | |
| "loss": 2.0396, | |
| "step": 7180 | |
| }, | |
| { | |
| "epoch": 59.916666666666664, | |
| "grad_norm": 2.0197400809657227, | |
| "learning_rate": 6.9046958544366604e-06, | |
| "loss": 1.983, | |
| "step": 7190 | |
| }, | |
| { | |
| "epoch": 60.0, | |
| "grad_norm": 2.01602109817031, | |
| "learning_rate": 6.8583465972458365e-06, | |
| "loss": 1.9387, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 60.083333333333336, | |
| "grad_norm": 1.9852667779639843, | |
| "learning_rate": 6.81255391386384e-06, | |
| "loss": 1.9696, | |
| "step": 7210 | |
| }, | |
| { | |
| "epoch": 60.166666666666664, | |
| "grad_norm": 2.0013859238412524, | |
| "learning_rate": 6.767318519381177e-06, | |
| "loss": 1.9385, | |
| "step": 7220 | |
| }, | |
| { | |
| "epoch": 60.25, | |
| "grad_norm": 1.963288497456032, | |
| "learning_rate": 6.722641120185843e-06, | |
| "loss": 1.9712, | |
| "step": 7230 | |
| }, | |
| { | |
| "epoch": 60.333333333333336, | |
| "grad_norm": 1.9858260368803282, | |
| "learning_rate": 6.678522413952258e-06, | |
| "loss": 1.9757, | |
| "step": 7240 | |
| }, | |
| { | |
| "epoch": 60.416666666666664, | |
| "grad_norm": 1.968946961738131, | |
| "learning_rate": 6.63496308963041e-06, | |
| "loss": 1.9973, | |
| "step": 7250 | |
| }, | |
| { | |
| "epoch": 60.5, | |
| "grad_norm": 1.9641757079693083, | |
| "learning_rate": 6.5919638274350614e-06, | |
| "loss": 1.9514, | |
| "step": 7260 | |
| }, | |
| { | |
| "epoch": 60.583333333333336, | |
| "grad_norm": 1.8974417755682922, | |
| "learning_rate": 6.549525298835157e-06, | |
| "loss": 2.007, | |
| "step": 7270 | |
| }, | |
| { | |
| "epoch": 60.666666666666664, | |
| "grad_norm": 1.9891909933127554, | |
| "learning_rate": 6.50764816654331e-06, | |
| "loss": 1.9798, | |
| "step": 7280 | |
| }, | |
| { | |
| "epoch": 60.75, | |
| "grad_norm": 1.9057305675778413, | |
| "learning_rate": 6.4663330845054775e-06, | |
| "loss": 1.9358, | |
| "step": 7290 | |
| }, | |
| { | |
| "epoch": 60.833333333333336, | |
| "grad_norm": 2.038484220973745, | |
| "learning_rate": 6.425580697890733e-06, | |
| "loss": 1.9621, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 60.916666666666664, | |
| "grad_norm": 1.9769518924777882, | |
| "learning_rate": 6.385391643081197e-06, | |
| "loss": 1.9426, | |
| "step": 7310 | |
| }, | |
| { | |
| "epoch": 61.0, | |
| "grad_norm": 1.985886126078107, | |
| "learning_rate": 6.34576654766211e-06, | |
| "loss": 1.9276, | |
| "step": 7320 | |
| }, | |
| { | |
| "epoch": 61.083333333333336, | |
| "grad_norm": 1.9561158740586255, | |
| "learning_rate": 6.306706030412002e-06, | |
| "loss": 1.9623, | |
| "step": 7330 | |
| }, | |
| { | |
| "epoch": 61.166666666666664, | |
| "grad_norm": 1.9782066292214036, | |
| "learning_rate": 6.268210701293069e-06, | |
| "loss": 1.9713, | |
| "step": 7340 | |
| }, | |
| { | |
| "epoch": 61.25, | |
| "grad_norm": 1.972084854010404, | |
| "learning_rate": 6.23028116144161e-06, | |
| "loss": 1.9874, | |
| "step": 7350 | |
| }, | |
| { | |
| "epoch": 61.333333333333336, | |
| "grad_norm": 1.9455018468420104, | |
| "learning_rate": 6.192918003158677e-06, | |
| "loss": 1.9629, | |
| "step": 7360 | |
| }, | |
| { | |
| "epoch": 61.416666666666664, | |
| "grad_norm": 1.938206082554414, | |
| "learning_rate": 6.156121809900792e-06, | |
| "loss": 1.9601, | |
| "step": 7370 | |
| }, | |
| { | |
| "epoch": 61.5, | |
| "grad_norm": 2.005389937727236, | |
| "learning_rate": 6.1198931562708504e-06, | |
| "loss": 1.9465, | |
| "step": 7380 | |
| }, | |
| { | |
| "epoch": 61.583333333333336, | |
| "grad_norm": 1.928886463531946, | |
| "learning_rate": 6.084232608009166e-06, | |
| "loss": 1.9315, | |
| "step": 7390 | |
| }, | |
| { | |
| "epoch": 61.666666666666664, | |
| "grad_norm": 2.034096000513899, | |
| "learning_rate": 6.049140721984598e-06, | |
| "loss": 1.9454, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 61.75, | |
| "grad_norm": 2.046363475451839, | |
| "learning_rate": 6.014618046185887e-06, | |
| "loss": 1.9178, | |
| "step": 7410 | |
| }, | |
| { | |
| "epoch": 61.833333333333336, | |
| "grad_norm": 1.8755537486946499, | |
| "learning_rate": 5.980665119713077e-06, | |
| "loss": 1.9556, | |
| "step": 7420 | |
| }, | |
| { | |
| "epoch": 61.916666666666664, | |
| "grad_norm": 2.032588224478659, | |
| "learning_rate": 5.947282472769127e-06, | |
| "loss": 1.8997, | |
| "step": 7430 | |
| }, | |
| { | |
| "epoch": 62.0, | |
| "grad_norm": 1.9273127101444452, | |
| "learning_rate": 5.914470626651588e-06, | |
| "loss": 1.9006, | |
| "step": 7440 | |
| }, | |
| { | |
| "epoch": 62.083333333333336, | |
| "grad_norm": 1.9878491604798783, | |
| "learning_rate": 5.882230093744495e-06, | |
| "loss": 1.963, | |
| "step": 7450 | |
| }, | |
| { | |
| "epoch": 62.166666666666664, | |
| "grad_norm": 1.8931956194214603, | |
| "learning_rate": 5.8505613775103555e-06, | |
| "loss": 1.9087, | |
| "step": 7460 | |
| }, | |
| { | |
| "epoch": 62.25, | |
| "grad_norm": 1.9996050802379584, | |
| "learning_rate": 5.819464972482287e-06, | |
| "loss": 1.9651, | |
| "step": 7470 | |
| }, | |
| { | |
| "epoch": 62.333333333333336, | |
| "grad_norm": 2.0057922173747222, | |
| "learning_rate": 5.788941364256304e-06, | |
| "loss": 1.952, | |
| "step": 7480 | |
| }, | |
| { | |
| "epoch": 62.416666666666664, | |
| "grad_norm": 1.9593428248633846, | |
| "learning_rate": 5.758991029483714e-06, | |
| "loss": 1.9071, | |
| "step": 7490 | |
| }, | |
| { | |
| "epoch": 62.5, | |
| "grad_norm": 1.9402555129311176, | |
| "learning_rate": 5.7296144358636925e-06, | |
| "loss": 1.8977, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 62.583333333333336, | |
| "grad_norm": 1.9054080792379602, | |
| "learning_rate": 5.700812042135969e-06, | |
| "loss": 1.9338, | |
| "step": 7510 | |
| }, | |
| { | |
| "epoch": 62.666666666666664, | |
| "grad_norm": 1.9946019519866354, | |
| "learning_rate": 5.672584298073685e-06, | |
| "loss": 1.9402, | |
| "step": 7520 | |
| }, | |
| { | |
| "epoch": 62.75, | |
| "grad_norm": 2.00195157679056, | |
| "learning_rate": 5.644931644476331e-06, | |
| "loss": 1.9617, | |
| "step": 7530 | |
| }, | |
| { | |
| "epoch": 62.833333333333336, | |
| "grad_norm": 1.994584858850401, | |
| "learning_rate": 5.617854513162896e-06, | |
| "loss": 1.9285, | |
| "step": 7540 | |
| }, | |
| { | |
| "epoch": 62.916666666666664, | |
| "grad_norm": 1.9890025091601349, | |
| "learning_rate": 5.5913533269651185e-06, | |
| "loss": 1.9189, | |
| "step": 7550 | |
| }, | |
| { | |
| "epoch": 63.0, | |
| "grad_norm": 1.9844939429012176, | |
| "learning_rate": 5.565428499720873e-06, | |
| "loss": 1.9345, | |
| "step": 7560 | |
| }, | |
| { | |
| "epoch": 63.083333333333336, | |
| "grad_norm": 1.902972358382588, | |
| "learning_rate": 5.540080436267716e-06, | |
| "loss": 1.935, | |
| "step": 7570 | |
| }, | |
| { | |
| "epoch": 63.166666666666664, | |
| "grad_norm": 2.028337238885802, | |
| "learning_rate": 5.515309532436559e-06, | |
| "loss": 1.9431, | |
| "step": 7580 | |
| }, | |
| { | |
| "epoch": 63.25, | |
| "grad_norm": 2.007736620229894, | |
| "learning_rate": 5.491116175045491e-06, | |
| "loss": 1.932, | |
| "step": 7590 | |
| }, | |
| { | |
| "epoch": 63.333333333333336, | |
| "grad_norm": 2.042985788423811, | |
| "learning_rate": 5.467500741893746e-06, | |
| "loss": 1.9501, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 63.416666666666664, | |
| "grad_norm": 2.009502011759658, | |
| "learning_rate": 5.444463601755772e-06, | |
| "loss": 1.8583, | |
| "step": 7610 | |
| }, | |
| { | |
| "epoch": 63.5, | |
| "grad_norm": 2.06322582073643, | |
| "learning_rate": 5.422005114375519e-06, | |
| "loss": 1.9112, | |
| "step": 7620 | |
| }, | |
| { | |
| "epoch": 63.583333333333336, | |
| "grad_norm": 1.9210766010054212, | |
| "learning_rate": 5.400125630460786e-06, | |
| "loss": 1.9356, | |
| "step": 7630 | |
| }, | |
| { | |
| "epoch": 63.666666666666664, | |
| "grad_norm": 2.0016758573237996, | |
| "learning_rate": 5.37882549167776e-06, | |
| "loss": 1.922, | |
| "step": 7640 | |
| }, | |
| { | |
| "epoch": 63.75, | |
| "grad_norm": 1.8855514548439498, | |
| "learning_rate": 5.358105030645666e-06, | |
| "loss": 1.8987, | |
| "step": 7650 | |
| }, | |
| { | |
| "epoch": 63.833333333333336, | |
| "grad_norm": 2.0176256290541397, | |
| "learning_rate": 5.337964570931595e-06, | |
| "loss": 1.9476, | |
| "step": 7660 | |
| }, | |
| { | |
| "epoch": 63.916666666666664, | |
| "grad_norm": 2.0268704664924826, | |
| "learning_rate": 5.31840442704543e-06, | |
| "loss": 1.9029, | |
| "step": 7670 | |
| }, | |
| { | |
| "epoch": 64.0, | |
| "grad_norm": 1.9720734292378126, | |
| "learning_rate": 5.299424904434947e-06, | |
| "loss": 1.9363, | |
| "step": 7680 | |
| }, | |
| { | |
| "epoch": 64.08333333333333, | |
| "grad_norm": 1.8882025971010035, | |
| "learning_rate": 5.281026299481048e-06, | |
| "loss": 1.9635, | |
| "step": 7690 | |
| }, | |
| { | |
| "epoch": 64.16666666666667, | |
| "grad_norm": 2.016255124978956, | |
| "learning_rate": 5.263208899493116e-06, | |
| "loss": 1.9281, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 64.25, | |
| "grad_norm": 1.888953044992361, | |
| "learning_rate": 5.245972982704546e-06, | |
| "loss": 1.9126, | |
| "step": 7710 | |
| }, | |
| { | |
| "epoch": 64.33333333333333, | |
| "grad_norm": 1.9878197154918797, | |
| "learning_rate": 5.229318818268392e-06, | |
| "loss": 1.8771, | |
| "step": 7720 | |
| }, | |
| { | |
| "epoch": 64.41666666666667, | |
| "grad_norm": 1.998352922285765, | |
| "learning_rate": 5.2132466662531654e-06, | |
| "loss": 1.9111, | |
| "step": 7730 | |
| }, | |
| { | |
| "epoch": 64.5, | |
| "grad_norm": 2.004626525760343, | |
| "learning_rate": 5.197756777638772e-06, | |
| "loss": 1.9607, | |
| "step": 7740 | |
| }, | |
| { | |
| "epoch": 64.58333333333333, | |
| "grad_norm": 2.0016678769724434, | |
| "learning_rate": 5.182849394312596e-06, | |
| "loss": 1.8891, | |
| "step": 7750 | |
| }, | |
| { | |
| "epoch": 64.66666666666667, | |
| "grad_norm": 2.020656840164689, | |
| "learning_rate": 5.1685247490657234e-06, | |
| "loss": 1.8841, | |
| "step": 7760 | |
| }, | |
| { | |
| "epoch": 64.75, | |
| "grad_norm": 2.0763438917009878, | |
| "learning_rate": 5.154783065589303e-06, | |
| "loss": 1.9259, | |
| "step": 7770 | |
| }, | |
| { | |
| "epoch": 64.83333333333333, | |
| "grad_norm": 1.996393408929962, | |
| "learning_rate": 5.141624558471049e-06, | |
| "loss": 1.8914, | |
| "step": 7780 | |
| }, | |
| { | |
| "epoch": 64.91666666666667, | |
| "grad_norm": 2.03491514099298, | |
| "learning_rate": 5.1290494331919025e-06, | |
| "loss": 1.9378, | |
| "step": 7790 | |
| }, | |
| { | |
| "epoch": 65.0, | |
| "grad_norm": 2.0410734469605574, | |
| "learning_rate": 5.117057886122817e-06, | |
| "loss": 1.899, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 65.08333333333333, | |
| "grad_norm": 1.9114235884360984, | |
| "learning_rate": 5.105650104521688e-06, | |
| "loss": 1.8514, | |
| "step": 7810 | |
| }, | |
| { | |
| "epoch": 65.16666666666667, | |
| "grad_norm": 2.0164886516892073, | |
| "learning_rate": 5.094826266530429e-06, | |
| "loss": 1.9008, | |
| "step": 7820 | |
| }, | |
| { | |
| "epoch": 65.25, | |
| "grad_norm": 2.0193345584674662, | |
| "learning_rate": 5.0845865411722e-06, | |
| "loss": 1.8928, | |
| "step": 7830 | |
| }, | |
| { | |
| "epoch": 65.33333333333333, | |
| "grad_norm": 1.9878446628011768, | |
| "learning_rate": 5.074931088348753e-06, | |
| "loss": 1.8934, | |
| "step": 7840 | |
| }, | |
| { | |
| "epoch": 65.41666666666667, | |
| "grad_norm": 1.9657958740291983, | |
| "learning_rate": 5.06586005883795e-06, | |
| "loss": 1.8628, | |
| "step": 7850 | |
| }, | |
| { | |
| "epoch": 65.5, | |
| "grad_norm": 2.0584319483599773, | |
| "learning_rate": 5.057373594291389e-06, | |
| "loss": 1.9273, | |
| "step": 7860 | |
| }, | |
| { | |
| "epoch": 65.58333333333333, | |
| "grad_norm": 2.0081716728307404, | |
| "learning_rate": 5.049471827232223e-06, | |
| "loss": 1.854, | |
| "step": 7870 | |
| }, | |
| { | |
| "epoch": 65.66666666666667, | |
| "grad_norm": 2.000531483603402, | |
| "learning_rate": 5.042154881053054e-06, | |
| "loss": 1.8621, | |
| "step": 7880 | |
| }, | |
| { | |
| "epoch": 65.75, | |
| "grad_norm": 1.9088662126758669, | |
| "learning_rate": 5.0354228700140305e-06, | |
| "loss": 1.9694, | |
| "step": 7890 | |
| }, | |
| { | |
| "epoch": 65.83333333333333, | |
| "grad_norm": 2.0747633971478017, | |
| "learning_rate": 5.0292758992410565e-06, | |
| "loss": 1.901, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 65.91666666666667, | |
| "grad_norm": 1.9408577157510871, | |
| "learning_rate": 5.023714064724151e-06, | |
| "loss": 1.9205, | |
| "step": 7910 | |
| }, | |
| { | |
| "epoch": 66.0, | |
| "grad_norm": 2.060695552433827, | |
| "learning_rate": 5.018737453315944e-06, | |
| "loss": 1.9025, | |
| "step": 7920 | |
| }, | |
| { | |
| "epoch": 66.08333333333333, | |
| "grad_norm": 2.081587810422611, | |
| "learning_rate": 5.014346142730328e-06, | |
| "loss": 1.8642, | |
| "step": 7930 | |
| }, | |
| { | |
| "epoch": 66.16666666666667, | |
| "grad_norm": 1.96789526171825, | |
| "learning_rate": 5.010540201541244e-06, | |
| "loss": 1.925, | |
| "step": 7940 | |
| }, | |
| { | |
| "epoch": 66.25, | |
| "grad_norm": 1.9122610528810768, | |
| "learning_rate": 5.007319689181595e-06, | |
| "loss": 1.8942, | |
| "step": 7950 | |
| }, | |
| { | |
| "epoch": 66.33333333333333, | |
| "grad_norm": 1.9336044157100094, | |
| "learning_rate": 5.004684655942338e-06, | |
| "loss": 1.8852, | |
| "step": 7960 | |
| }, | |
| { | |
| "epoch": 66.41666666666667, | |
| "grad_norm": 1.916929814338855, | |
| "learning_rate": 5.0026351429716924e-06, | |
| "loss": 1.8931, | |
| "step": 7970 | |
| }, | |
| { | |
| "epoch": 66.5, | |
| "grad_norm": 2.0118006421059422, | |
| "learning_rate": 5.0011711822744915e-06, | |
| "loss": 1.9534, | |
| "step": 7980 | |
| }, | |
| { | |
| "epoch": 66.58333333333333, | |
| "grad_norm": 1.9694136454701718, | |
| "learning_rate": 5.000292796711689e-06, | |
| "loss": 1.9228, | |
| "step": 7990 | |
| }, | |
| { | |
| "epoch": 66.66666666666667, | |
| "grad_norm": 1.9265305490930438, | |
| "learning_rate": 5e-06, | |
| "loss": 1.874, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 66.66666666666667, | |
| "step": 8000, | |
| "total_flos": 4170974625792000.0, | |
| "train_loss": 2.825869362592697, | |
| "train_runtime": 125458.1215, | |
| "train_samples_per_second": 12.243, | |
| "train_steps_per_second": 0.064 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 8000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 67, | |
| "save_steps": 2000, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4170974625792000.0, | |
| "train_batch_size": 6, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |