Training in progress, epoch 9

metrics_.json

@@ -4588,5 +4588,515 @@
         "batch_size": 16,
         "weight_decay": 0.1,
         "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7"
+    },
+    {
+        "eval_loss": 0.1161591187119484,
+        "eval_f1_weighted": 0.9865839701625604,
+        "eval_f1_macro": 0.9651416279172226,
+        "eval_f1_micro": 0.9866173120728929,
+        "eval_accuracy": 0.9866173120728929,
+        "eval_precision_weighted": 0.98658355324801,
+        "eval_recall_weighted": 0.9866173120728929,
+        "eval_f1_weighted_real": 0.791466548702393,
+        "eval_f1_macro_real": 0.4924165824064712,
+        "eval_f1_micro_real": 0.7395833333333334,
+        "eval_accuracy_real": 0.7395833333333334,
+        "eval_class_report": [
+            {
+                "narrative_id": 0,
+                "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere",
+                "precision": 0.9966563786008229,
+                "recall": 0.9965277777777778,
+                "f1": 0.9965568485803433
+            },
+            {
+                "narrative_id": 1,
+                "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.",
+                "precision": 0.9927867942849217,
+                "recall": 0.9925093632958801,
+                "f1": 0.9925625281922549
+            },
+            {
+                "narrative_id": 2,
+                "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.",
+                "precision": 0.9785893570068898,
+                "recall": 0.9775280898876404,
+                "f1": 0.9774655521043963
+            },
+            {
+                "narrative_id": 3,
+                "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.",
+                "precision": 0.981699012597889,
+                "recall": 0.9812734082397003,
+                "f1": 0.9807200937975605
+            },
+            {
+                "narrative_id": 4,
+                "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.",
+                "precision": 0.993044408774746,
+                "recall": 0.9925093632958801,
+                "f1": 0.9924982660563185
+            },
+            {
+                "narrative_id": 5,
+                "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.",
+                "precision": 0.9922178988326849,
+                "recall": 0.9922178988326849,
+                "f1": 0.9922178988326849
+            },
+            {
+                "narrative_id": 6,
+                "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.",
+                "precision": 0.9895833333333334,
+                "recall": 0.9895833333333334,
+                "f1": 0.9895833333333334
+            },
+            {
+                "narrative_id": 7,
+                "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.",
+                "precision": 0.9889010823114084,
+                "recall": 0.98828125,
+                "f1": 0.9880834918713247
+            },
+            {
+                "narrative_id": 8,
+                "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar",
+                "precision": 0.9881900035714957,
+                "recall": 0.9883268482490273,
+                "f1": 0.9882171162997943
+            },
+            {
+                "narrative_id": 9,
+                "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen",
+                "precision": 0.9922178988326849,
+                "recall": 0.9922178988326849,
+                "f1": 0.9922178988326849
+            },
+            {
+                "narrative_id": 10,
+                "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.",
+                "precision": 0.9684038513914034,
+                "recall": 0.966804979253112,
+                "f1": 0.9672421883796061
+            },
+            {
+                "narrative_id": 11,
+                "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 12,
+                "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.",
+                "precision": 0.9827586206896551,
+                "recall": 0.9827586206896551,
+                "f1": 0.9827586206896551
+            },
+            {
+                "narrative_id": 13,
+                "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.",
+                "precision": 0.9800215152912248,
+                "recall": 0.979253112033195,
+                "f1": 0.9795442014488674
+            },
+            {
+                "narrative_id": 14,
+                "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.",
+                "precision": 0.982857142857143,
+                "recall": 0.9826839826839827,
+                "f1": 0.982689179567931
+            },
+            {
+                "narrative_id": 15,
+                "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.",
+                "precision": 0.991402993558166,
+                "recall": 0.9913793103448276,
+                "f1": 0.9913429891762917
+            },
+            {
+                "narrative_id": 16,
+                "narrative": "Die Regierung will gezielt Migranten ins Land holen.",
+                "precision": 0.9791061481321259,
+                "recall": 0.979253112033195,
+                "f1": 0.9787572772622299
+            },
+            {
+                "narrative_id": 17,
+                "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen",
+                "precision": 0.9877463692946058,
+                "recall": 0.9875518672199171,
+                "f1": 0.9872198103275027
+            },
+            {
+                "narrative_id": 18,
+                "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.",
+                "precision": 0.9958492975734355,
+                "recall": 0.9956896551724138,
+                "f1": 0.9956863356923772
+            },
+            {
+                "narrative_id": 19,
+                "narrative": "Bargeld soll abgeschafft werden.",
+                "precision": 0.9595867485984891,
+                "recall": 0.9575971731448764,
+                "f1": 0.9575313482037187
+            },
+            {
+                "narrative_id": 20,
+                "narrative": "Deutschland wird von Faschisten regiert.",
+                "precision": 0.9749623136535283,
+                "recall": 0.9752650176678446,
+                "f1": 0.9750335677100131
+            },
+            {
+                "narrative_id": 21,
+                "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 22,
+                "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.",
+                "precision": 0.9925784014221855,
+                "recall": 0.9925093632958801,
+                "f1": 0.9923768899986127
+            },
+            {
+                "narrative_id": 23,
+                "narrative": "Die Ukraine wird von Nazis regiert",
+                "precision": 0.9925267027326952,
+                "recall": 0.9925093632958801,
+                "f1": 0.9924769894053888
+            },
+            {
+                "narrative_id": 24,
+                "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt",
+                "precision": 0.9850292567260931,
+                "recall": 0.9844357976653697,
+                "f1": 0.9842214953986189
+            },
+            {
+                "narrative_id": 25,
+                "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.",
+                "precision": 0.9922178988326849,
+                "recall": 0.9922178988326849,
+                "f1": 0.9922178988326849
+            },
+            {
+                "narrative_id": 26,
+                "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.",
+                "precision": 0.9801329921751808,
+                "recall": 0.9795081967213115,
+                "f1": 0.9790938170186471
+            },
+            {
+                "narrative_id": 27,
+                "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.",
+                "precision": 0.9806575311566007,
+                "recall": 0.980544747081712,
+                "f1": 0.9804268822484984
+            },
+            {
+                "narrative_id": 28,
+                "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos",
+                "precision": 0.9884020376322863,
+                "recall": 0.9883268482490273,
+                "f1": 0.9881900948207473
+            },
+            {
+                "narrative_id": 29,
+                "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.",
+                "precision": 0.9924506387921022,
+                "recall": 0.991869918699187,
+                "f1": 0.9918510990665462
+            },
+            {
+                "narrative_id": 30,
+                "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel",
+                "precision": 0.9759413855922462,
+                "recall": 0.975609756097561,
+                "f1": 0.9752488788670753
+            },
+            {
+                "narrative_id": 31,
+                "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst",
+                "precision": 0.9883855981416957,
+                "recall": 0.9878048780487805,
+                "f1": 0.987934588747597
+            },
+            {
+                "narrative_id": 32,
+                "narrative": "Wahlhelfer lassen Stimmen verschwinden.",
+                "precision": 0.9848612399638067,
+                "recall": 0.9850187265917603,
+                "f1": 0.9847213059480567
+            },
+            {
+                "narrative_id": 33,
+                "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.",
+                "precision": 0.9890414759328617,
+                "recall": 0.9887640449438202,
+                "f1": 0.9888656793469174
+            },
+            {
+                "narrative_id": 34,
+                "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.",
+                "precision": 0.9782860709827003,
+                "recall": 0.9775280898876404,
+                "f1": 0.9776446109030378
+            },
+            {
+                "narrative_id": 35,
+                "narrative": "Die obere Ecke des Stimmzettels ist manipuliert",
+                "precision": 0.9925267027326952,
+                "recall": 0.9925093632958801,
+                "f1": 0.9924769894053888
+            },
+            {
+                "narrative_id": 36,
+                "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen",
+                "precision": 0.9963933971424607,
+                "recall": 0.9962546816479401,
+                "f1": 0.9962532960325675
+            },
+            {
+                "narrative_id": 37,
+                "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.",
+                "precision": 0.9888078266946191,
+                "recall": 0.9886792452830189,
+                "f1": 0.9886750570644776
+            },
+            {
+                "narrative_id": 38,
+                "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.",
+                "precision": 0.9852786560931753,
+                "recall": 0.9850187265917603,
+                "f1": 0.9851116306490484
+            },
+            {
+                "narrative_id": 39,
+                "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.",
+                "precision": 0.9922178988326849,
+                "recall": 0.9922178988326849,
+                "f1": 0.9922178988326849
+            },
+            {
+                "narrative_id": 40,
+                "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.",
+                "precision": 0.9915626359591877,
+                "recall": 0.9913793103448276,
+                "f1": 0.9912463133882147
+            }
+        ],
+        "eval_class_report_real": [
+            {
+                "narrative_id": 0,
+                "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere",
+                "precision": 0.5,
+                "recall": 0.3333333333333333,
+                "f1": 0.38888888888888884
+            },
+            {
+                "narrative_id": 1,
+                "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 4,
+                "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.",
+                "precision": 0.9166666666666666,
+                "recall": 0.8333333333333334,
+                "f1": 0.8728070175438596
+            },
+            {
+                "narrative_id": 5,
+                "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.",
+                "precision": 0.0,
+                "recall": 0.0,
+                "f1": 0.0
+            },
+            {
+                "narrative_id": 7,
+                "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.",
+                "precision": 1.0,
+                "recall": 0.8571428571428571,
+                "f1": 0.9230769230769231
+            },
+            {
+                "narrative_id": 8,
+                "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 11,
+                "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.",
+                "precision": 0.5,
+                "recall": 0.5,
+                "f1": 0.5
+            },
+            {
+                "narrative_id": 14,
+                "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.",
+                "precision": 0.0,
+                "recall": 0.0,
+                "f1": 0.0
+            },
+            {
+                "narrative_id": 16,
+                "narrative": "Die Regierung will gezielt Migranten ins Land holen.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 18,
+                "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 19,
+                "narrative": "Bargeld soll abgeschafft werden.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 20,
+                "narrative": "Deutschland wird von Faschisten regiert.",
+                "precision": 0.0,
+                "recall": 0.0,
+                "f1": 0.0
+            },
+            {
+                "narrative_id": 21,
+                "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.",
+                "precision": 1.0,
+                "recall": 0.5,
+                "f1": 0.6666666666666666
+            },
+            {
+                "narrative_id": 22,
+                "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.",
+                "precision": 1.0,
+                "recall": 0.6666666666666666,
+                "f1": 0.8000000000000002
+            },
+            {
+                "narrative_id": 23,
+                "narrative": "Die Ukraine wird von Nazis regiert",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 25,
+                "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 26,
+                "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.",
+                "precision": 1.0,
+                "recall": 0.75,
+                "f1": 0.8571428571428571
+            },
+            {
+                "narrative_id": 27,
+                "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.",
+                "precision": 0.0,
+                "recall": 0.0,
+                "f1": 0.0
+            },
+            {
+                "narrative_id": 28,
+                "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 29,
+                "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.",
+                "precision": 1.0,
+                "recall": 0.7777777777777778,
+                "f1": 0.875
+            },
+            {
+                "narrative_id": 30,
+                "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel",
+                "precision": 0.8666666666666666,
+                "recall": 0.6,
+                "f1": 0.6333333333333333
+            },
+            {
+                "narrative_id": 31,
+                "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 32,
+                "narrative": "Wahlhelfer lassen Stimmen verschwinden.",
+                "precision": 1.0,
+                "recall": 0.5,
+                "f1": 0.6666666666666666
+            },
+            {
+                "narrative_id": 33,
+                "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 34,
+                "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 35,
+                "narrative": "Die obere Ecke des Stimmzettels ist manipuliert",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 37,
+                "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.",
+                "precision": 1.0,
+                "recall": 1.0,
+                "f1": 1.0
+            },
+            {
+                "narrative_id": 40,
+                "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.",
+                "precision": 0.25,
+                "recall": 0.5,
+                "f1": 0.3333333333333333
+            }
+        ],
+        "eval_runtime": 139.1042,
+        "eval_samples_per_second": 76.432,
+        "eval_steps_per_second": 0.956,
+        "epoch": 9.989909182643794,
+        "step": 4950,
+        "datasplit_random_state": 2024,
+        "learning_rate": 2e-05,
+        "batch_size": 16,
+        "weight_decay": 0.1,
+        "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7"
     }
 ]

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e9147b333379fcf8ebb35d95ff14a08b56c5f72724a0bcb00cf181a5304138d4
+oid sha256:c5b4fd7ebbd55b6c69982145b939d1f722dc7632c3d2dd4e50b1b6944850ee8c
 size 1115271284