Training in progress, step 4000

.gitignore

@@ -0,0 +1,2 @@
+step_*
+epoch_*

config.json

@@ -0,0 +1,32 @@
+{
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 0,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 1,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 512,
+  "n_embd": 256,
+  "n_head": 8,
+  "n_inner": 2048,
+  "n_layer": 8,
+  "n_positions": 512,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.45.2",
+  "use_cache": true,
+  "vocab_size": 8192
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9adec74bb2ef3a9e2af03f85a547991fe532fe41f12a0fbb7a4d9288c75b3c29
+size 51007160

special_tokens_map.json

@@ -0,0 +1,34 @@
+{
+  "additional_special_tokens": [
+    "<|endoftext|>"
+  ],
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "</s>",
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,63 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "additional_special_tokens": [
+    "<|endoftext|>"
+  ],
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 128,
+  "pad_token": "</s>",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eb433b87752cc469b20ee625a833c904bc80363d908ad5bc61687e872bf3a42a
+size 5368

validation_batches.log

@@ -0,0 +1,72 @@
+
+--- Validation Batch Start ---
+Sample 0:
+</s>tu remontes ?</s>oh mais je te vois plus ?</s>donne la main .</s>ana tu es déjà pleine de bleus .</s>tu viens tu viens jouer !</s>tu es grande hein .</s>oh qu'est ce tu es grande .</s>oui tu es grande ?</s>tu es une grande hein ?</s>oh pfff oh oui .</s>aller viens je t'emmène ?</s>oh qu'est ce qu'il y a là bas .</s>oh attention reste par là ?</s>laisse cette chaise .</s>oh mais tu l'as démontée la maison .</s>tu as tout démonté hein !</s>destructrice
+Sample 1:
+destructrice .</s>le cheval l'arbre ?</s>on met le toit !</s>aller on va mettre le toit si il tient encore .</s>assieds toi petite .</s>ah c'est sur moi ?</s>regarde celui là tiens !</s>et l'autre je sais pas où elle est .</s>mhm cachée !</s>oh où elle est !</s>ben il est .</s>il est là et alors .</s>ah c'est ton pied qui bloque .</s>il doit être dessous .</s>on met là .</s>oh elles sont où .</s>voilà elle est partie .</s>elle est partie la balle !</s></s></s>
+Sample 2:
+oh elle revient .</s>tiens pitchoune .</s>tu sais jouer aux boules .</s>tu veux un cube .</s>blablablabla !</s>ils sont pas là les cubes ana .</s>ils doivent être chez papi !</s>ah tu as trouvé la brosse .</s>elle était donc là !</s>attends attends y a un bout de ficelle .</s>tu te peignes .</s>peigne toi .</s>oui c'est ça peignes toi .</s>ça y est tu es toute belle !</s>tu t'es bien peignée ?</s>se sont les cubes de chl ça .</s>hop à toi ?</s></s></s></s>
+Sample 3:
+tu mets là haut !</s>vas y mets dessus !</s>voila comme ça bravo .</s>toi tu mets .</s>tiens ma loute ?</s>ouh là là tu casses tout mimine !</s>ça y est tu as tout jeté ?</s>tu as vu y a le lapin là !</s>là aussi y a un lapin ?</s>c'est le lapin des télétubbies .</s>non non non tu lui manges pas .</s>mhm qu'est ce tu fais !</s>mhm donne .</s>c'est pas miammiam tu donnes ?</s>regarde la voiture !</s>oh ben tu manges la voiture aussi .</s>regarde par là bas la voiture vroum
+Sample 4:
+regarde par là bas la voiture vroum vroum !</s>ah tu vas où !</s>j'entends ta soeur .</s>tu ramène les cubes ?</s>viens ana ?</s>qu'est ce tu y avais mis dedans .</s>mhm c'est pour tenir la tutu ça .</s>c'est à chl .</s>tu veux qu'on lise un peu .</s>ce matin tu avais envie de lire ça je sais .</s>hein est ce que ça te dit toujours et puis j'avais pas le temps .</s>tu voulais qu'on regarde ça .</s>pierre lapin .</s>non c'est pas pierre lapin d'ailleurs ?</s></s>
+Sample 5:
+on pourrait l'appeler c'est pierre tout court ?</s>ça craque .</s>craque craque craque craque craque craque .</s>craque craque craque craque .</s>eh là ?</s>mm oui c'est beau hein .</s>oh l'autre petit lapin .</s>ah tu préfères cette page hein .</s>oh il fait des cabrioles ?</s>lapin il fait des cabrioles .</s>elle gratte cette herbe hein ?</s>appuyer .</s>peut être faire un trou ?</s>ah ah ah y a val ?</s>tu as vu val .</s>tu vas pas faire ton timide encore quand même ?</s></s></s></s>
+Sample 6:
+c'est pas vrai ça tu la connais maintenant !</s>tu la connais val .</s>tiens tim .</s>regarde est ce qu'il marche celui là .</s>alors tu vas pas rester proprement comme ça ?</s>han tu entends la musique .</s>oh ben pas à la bouche .</s>tu mets tout à la bouche mais c'est terrible ?</s>alors tu me montres tes jeux tim .</s>tu lui montres un petit peu .</s>il s'enfuie hein .</s>mais tu es caché en plus ?</s>tu étais caché ?</s>viens viens avec moi ?</s>viens qu'est ce que tu fais tu avais besoin d
+Sample 7:
+viens qu'est ce que tu fais tu avais besoin d'aller là bas toi .</s>et puis après tout hein .</s>comment qu'est ce que tu veux .</s>ben dis le tu le dit tellement bien maintenant ?</s>hein qu'est ce que tu veux .</s>tout à l'heure tu réclamais dans la poussette aussi ?</s>comment tu appelle ça toi .</s>comment tu appelles ça ?</s>le pain !</s>toi tu dis comment .</s>faut dire .</s>tu dis comment c'est .</s>hein c'est à quoi ça ?</s>un tout petit bout parce que sinon tu vas mettre une
+Sample 8:
+un tout petit bout parce que sinon tu vas mettre une heure à le manger ?</s>oh ben tu l'as pas dit pourtant tu arrêtes pas de le dire .</s>tu es allé te cacher en plus pour manger .</s>tiens hein toi qui le dit si bien pourtant .</s>c'est le premier mother qu'il dit vraiment bien ?</s>qu'est ce que tu es en train de manger là ?</s>tu manges quoi dis moi .</s>tu es vraiment un voyou hein parce que .</s>non il il veut pas .</s>si tu parles avec quelque chose dans la bouche ?</s>ça va être compliqué pour euh pour traduire
+Sample 9:
+ça va être compliqué pour euh pour traduire ?</s>oui gâteau gâteau gâteau ?</s>et ben voilà c'est dans la boîte ?</s>ça y est on l'a eu .</s>tu fais attention à ta tête là dessous hein .</s>ouais tu me le lances ?</s>on parle de toi alors .</s>oui y a un petit trou .</s>o du coup maintenant tu vas le dire pour tout ?</s>est ce que tu me l'apportes .</s>o c'est marrant ça hein .</s>arrête de penser à cette caméra ?</s>tu veux venir regarder tim .</s>la grenouille coua coua coua .</s></s>
+Sample 10:
+coua coua coua ?</s>coa ?</s>ça t'intéresse hein ?</s>comment elle fait la grenouille ?</s>ouh c'est un gros crapaud .</s>oh tu vas pas encore faire ton silencieux là hein .</s>on essaie de faire une tour une grande .</s>une grande grande grande hein ?</s>celui là il tient pas bien .</s>tu es plus drôle tim .</s>grande comme ça .</s>ça il sait qu'il sait bien le dire maintenant !</s>il y a plus ?</s>y en a pas beaucoup hein .</s>ah la petite voiture ça .</s>vrvrvr
+Sample 11:
+vrvrvrvrvrvrv ?</s>un accident là .</s>tu essaies de mettre la souris sur le duplo .</s>hein la souris .</s>bonjour monsieur tim .</s>bonjour bonjour oh .</s>je suis suspendue .</s>je vais monter sur le dos de tim .</s>je vais attaquer par le derrière par derrière ?</s>atatatatatat ?</s>hein tu me la donnes ?</s>hop yaya la queue ?</s>oh la queue ?</s>au secours tim ?</s>aye aye aye aye lâchez moi ?</s>lâchez moi .</s>lâchez moi ?</s>c'est la
+Sample 12:
+c'est la chenille .</s>tu as attrapé la chenille .</s>ouh ouille tu lui fais mal .</s>tu lui fais mal ?</s>hein où est ce qu'il y en a une chenille aussi .</s>là c'est une chenille aussi ?</s>la chenille la chenille .</s>et ça c'est une chenille ?</s>oui elle est là la chenille .</s>où est ce qu'il y a une abeille ?</s>oui c'est une chenille ça aussi .</s>la chenille ?</s>le bourdon bzzzz ?</s>ouah tu es costaud hein .</s>là une abeille .</s>où elle est la tête .</s></s>
+Sample 13:
+tu as attrapé la tête .</s>et ta tête à toi elle est où !</s>où elle est ta tête !</s>elle est où ta tête ?</s>c'est difficile ça .</s>hein ta tête .</s>elle est là ta tête !</s>ouh tu as chaud hein .</s>oui qu'est tu fais avec ça .</s>normalement y a un petit train !</s>il doit y avoir un petit train ?</s>qu'est ce qu'on fait avec ça !</s>bonjour je suis madame la vache .</s>qu'est ce qu'elle va faire la vache !</s>et ça c'est qu'est ce que c
+Sample 14:
+et ça c'est qu'est ce que c'est une clé !</s>il y a des morceaux ?</s>là regarde tim ça va avec ça !</s>un tonneau .</s>ouvert ?</s>petit train ?</s>ch tchou tchou tchou .</s>oh mon wagon ?</s>tchut je recule .</s>la manoeuvre est difficile !</s>il a déraillé ton train ?</s>il en manque pas mal hein au jeu ?</s>oh la ça tousse ça tousse !</s>prou ?</s>oh un chapeau sur la tête !</s>chapeau !</s>chapeau ?</s>o chapeau !</s>tchou tchou tchou tchi tch
+Sample 15:
+tchou tchou tchou tchi tchu !</s>un chapeau pouf !</s>qu'est ce que tu voulais aller à la fenêtre !</s>hein c'est à la fenêtre que tu veux aller ?</s>crier à la fenêtre ?</s>tu aimerais bien être dehors toi hein ?</s>on la promène la chenille .</s>on la promène .</s>alors on la promène la chenille .</s>hop hop hop hop hop woup ?</s>la chenille ?</s>on met on le met .</s>tu le mets dans le trou !</s>mets le dans le trou !</s>tu peux changer aussi hein .</s>y en a d'autres des petits trous .
+--- Validation Batch End ---
+
+
+--- Validation Batch Start ---
+Sample 0:
+</s>tu remontes ?</s>oh mais je te vois plus ?</s>donne la main .</s>ana tu es déjà pleine de bleus .</s>tu viens tu viens jouer !</s>tu es grande hein .</s>oh qu'est ce tu es grande .</s>oui tu es grande ?</s>tu es une grande hein ?</s>oh pfff oh oui .</s>aller viens je t'emmène ?</s>oh qu'est ce qu'il y a là bas .</s>oh attention reste par là ?</s>laisse cette chaise .</s>oh mais tu l'as démontée la maison .</s>tu as tout démonté hein !</s>destructrice
+Sample 1:
+destructrice .</s>le cheval l'arbre ?</s>on met le toit !</s>aller on va mettre le toit si il tient encore .</s>assieds toi petite .</s>ah c'est sur moi ?</s>regarde celui là tiens !</s>et l'autre je sais pas où elle est .</s>mhm cachée !</s>oh où elle est !</s>ben il est .</s>il est là et alors .</s>ah c'est ton pied qui bloque .</s>il doit être dessous .</s>on met là .</s>oh elles sont où .</s>voilà elle est partie .</s>elle est partie la balle !</s></s></s>
+Sample 2:
+oh elle revient .</s>tiens pitchoune .</s>tu sais jouer aux boules .</s>tu veux un cube .</s>blablablabla !</s>ils sont pas là les cubes ana .</s>ils doivent être chez papi !</s>ah tu as trouvé la brosse .</s>elle était donc là !</s>attends attends y a un bout de ficelle .</s>tu te peignes .</s>peigne toi .</s>oui c'est ça peignes toi .</s>ça y est tu es toute belle !</s>tu t'es bien peignée ?</s>se sont les cubes de chl ça .</s>hop à toi ?</s></s></s></s>
+Sample 3:
+tu mets là haut !</s>vas y mets dessus !</s>voila comme ça bravo .</s>toi tu mets .</s>tiens ma loute ?</s>ouh là là tu casses tout mimine !</s>ça y est tu as tout jeté ?</s>tu as vu y a le lapin là !</s>là aussi y a un lapin ?</s>c'est le lapin des télétubbies .</s>non non non tu lui manges pas .</s>mhm qu'est ce tu fais !</s>mhm donne .</s>c'est pas miammiam tu donnes ?</s>regarde la voiture !</s>oh ben tu manges la voiture aussi .</s>regarde par là bas la voiture vroum
+Sample 4:
+regarde par là bas la voiture vroum vroum !</s>ah tu vas où !</s>j'entends ta soeur .</s>tu ramène les cubes ?</s>viens ana ?</s>qu'est ce tu y avais mis dedans .</s>mhm c'est pour tenir la tutu ça .</s>c'est à chl .</s>tu veux qu'on lise un peu .</s>ce matin tu avais envie de lire ça je sais .</s>hein est ce que ça te dit toujours et puis j'avais pas le temps .</s>tu voulais qu'on regarde ça .</s>pierre lapin .</s>non c'est pas pierre lapin d'ailleurs ?</s></s>
+Sample 5:
+on pourrait l'appeler c'est pierre tout court ?</s>ça craque .</s>craque craque craque craque craque craque .</s>craque craque craque craque .</s>eh là ?</s>mm oui c'est beau hein .</s>oh l'autre petit lapin .</s>ah tu préfères cette page hein .</s>oh il fait des cabrioles ?</s>lapin il fait des cabrioles .</s>elle gratte cette herbe hein ?</s>appuyer .</s>peut être faire un trou ?</s>ah ah ah y a val ?</s>tu as vu val .</s>tu vas pas faire ton timide encore quand même ?</s></s></s></s>
+Sample 6:
+c'est pas vrai ça tu la connais maintenant !</s>tu la connais val .</s>tiens tim .</s>regarde est ce qu'il marche celui là .</s>alors tu vas pas rester proprement comme ça ?</s>han tu entends la musique .</s>oh ben pas à la bouche .</s>tu mets tout à la bouche mais c'est terrible ?</s>alors tu me montres tes jeux tim .</s>tu lui montres un petit peu .</s>il s'enfuie hein .</s>mais tu es caché en plus ?</s>tu étais caché ?</s>viens viens avec moi ?</s>viens qu'est ce que tu fais tu avais besoin d
+Sample 7:
+viens qu'est ce que tu fais tu avais besoin d'aller là bas toi .</s>et puis après tout hein .</s>comment qu'est ce que tu veux .</s>ben dis le tu le dit tellement bien maintenant ?</s>hein qu'est ce que tu veux .</s>tout à l'heure tu réclamais dans la poussette aussi ?</s>comment tu appelle ça toi .</s>comment tu appelles ça ?</s>le pain !</s>toi tu dis comment .</s>faut dire .</s>tu dis comment c'est .</s>hein c'est à quoi ça ?</s>un tout petit bout parce que sinon tu vas mettre une
+Sample 8:
+un tout petit bout parce que sinon tu vas mettre une heure à le manger ?</s>oh ben tu l'as pas dit pourtant tu arrêtes pas de le dire .</s>tu es allé te cacher en plus pour manger .</s>tiens hein toi qui le dit si bien pourtant .</s>c'est le premier mother qu'il dit vraiment bien ?</s>qu'est ce que tu es en train de manger là ?</s>tu manges quoi dis moi .</s>tu es vraiment un voyou hein parce que .</s>non il il veut pas .</s>si tu parles avec quelque chose dans la bouche ?</s>ça va être compliqué pour euh pour traduire
+Sample 9:
+ça va être compliqué pour euh pour traduire ?</s>oui gâteau gâteau gâteau ?</s>et ben voilà c'est dans la boîte ?</s>ça y est on l'a eu .</s>tu fais attention à ta tête là dessous hein .</s>ouais tu me le lances ?</s>on parle de toi alors .</s>oui y a un petit trou .</s>o du coup maintenant tu vas le dire pour tout ?</s>est ce que tu me l'apportes .</s>o c'est marrant ça hein .</s>arrête de penser à cette caméra ?</s>tu veux venir regarder tim .</s>la grenouille coua coua coua .</s></s>
+Sample 10:
+coua coua coua ?</s>coa ?</s>ça t'intéresse hein ?</s>comment elle fait la grenouille ?</s>ouh c'est un gros crapaud .</s>oh tu vas pas encore faire ton silencieux là hein .</s>on essaie de faire une tour une grande .</s>une grande grande grande hein ?</s>celui là il tient pas bien .</s>tu es plus drôle tim .</s>grande comme ça .</s>ça il sait qu'il sait bien le dire maintenant !</s>il y a plus ?</s>y en a pas beaucoup hein .</s>ah la petite voiture ça .</s>vrvrvr
+Sample 11:
+vrvrvrvrvrvrv ?</s>un accident là .</s>tu essaies de mettre la souris sur le duplo .</s>hein la souris .</s>bonjour monsieur tim .</s>bonjour bonjour oh .</s>je suis suspendue .</s>je vais monter sur le dos de tim .</s>je vais attaquer par le derrière par derrière ?</s>atatatatatat ?</s>hein tu me la donnes ?</s>hop yaya la queue ?</s>oh la queue ?</s>au secours tim ?</s>aye aye aye aye lâchez moi ?</s>lâchez moi .</s>lâchez moi ?</s>c'est la
+Sample 12:
+c'est la chenille .</s>tu as attrapé la chenille .</s>ouh ouille tu lui fais mal .</s>tu lui fais mal ?</s>hein où est ce qu'il y en a une chenille aussi .</s>là c'est une chenille aussi ?</s>la chenille la chenille .</s>et ça c'est une chenille ?</s>oui elle est là la chenille .</s>où est ce qu'il y a une abeille ?</s>oui c'est une chenille ça aussi .</s>la chenille ?</s>le bourdon bzzzz ?</s>ouah tu es costaud hein .</s>là une abeille .</s>où elle est la tête .</s></s>
+Sample 13:
+tu as attrapé la tête .</s>et ta tête à toi elle est où !</s>où elle est ta tête !</s>elle est où ta tête ?</s>c'est difficile ça .</s>hein ta tête .</s>elle est là ta tête !</s>ouh tu as chaud hein .</s>oui qu'est tu fais avec ça .</s>normalement y a un petit train !</s>il doit y avoir un petit train ?</s>qu'est ce qu'on fait avec ça !</s>bonjour je suis madame la vache .</s>qu'est ce qu'elle va faire la vache !</s>et ça c'est qu'est ce que c
+Sample 14:
+et ça c'est qu'est ce que c'est une clé !</s>il y a des morceaux ?</s>là regarde tim ça va avec ça !</s>un tonneau .</s>ouvert ?</s>petit train ?</s>ch tchou tchou tchou .</s>oh mon wagon ?</s>tchut je recule .</s>la manoeuvre est difficile !</s>il a déraillé ton train ?</s>il en manque pas mal hein au jeu ?</s>oh la ça tousse ça tousse !</s>prou ?</s>oh un chapeau sur la tête !</s>chapeau !</s>chapeau ?</s>o chapeau !</s>tchou tchou tchou tchi tch
+Sample 15:
+tchou tchou tchou tchi tchu !</s>un chapeau pouf !</s>qu'est ce que tu voulais aller à la fenêtre !</s>hein c'est à la fenêtre que tu veux aller ?</s>crier à la fenêtre ?</s>tu aimerais bien être dehors toi hein ?</s>on la promène la chenille .</s>on la promène .</s>alors on la promène la chenille .</s>hop hop hop hop hop woup ?</s>la chenille ?</s>on met on le met .</s>tu le mets dans le trou !</s>mets le dans le trou !</s>tu peux changer aussi hein .</s>y en a d'autres des petits trous .
+--- Validation Batch End ---
+