Broken tokenizer output on Japanese benchmarks?
#14
by
leonardlin
- opened
I was benchmarking this model and it largely does well, however, it's Shaberi benchmarks (JA MT-Bench, ELYZ 100, Rakuda, etc) were surprisingly bad relative to its other benchmark results which are inline with expectation:
Looking at the answers, it looks like it simply starts breaking down:
{
"id": 78,
"category": "writing",
"Question": "ある朝目覚めて、突然自分が忍者になってしまったという設定の短編小説の序章を書いてください。",
"ModelAnswer": " もちろんです。以下は、ある朝目覚めて自分が忍者になってしまったという設定の短編小説の序章です。\n\n---\n\n### 序章:目覚めの瞬間\n\n朝日がカーテンの隙間から差し込み、部屋を柔らかく照らし出す。アラーム時計が鳴り響き、私はゆっくりと目を開けた。いつも通りの朝だと思ったが、何かが違うことに気づいた。体全体に感じる異様な力強さと、頭の中で明滅する奇妙な記憶。それはまるで夢の続きのようだった。\n\nベッドから起き上がり、鏡に映る自分を見つめた瞬間、私は息を呑んだ。黒装束に身を包み、背中にはクナイや手裏剣が差し込まれたポーチがある。足元にはタビソックスと草履代わりのサンダル。そして何よりも目立つのは、額に刻まれた「影」と書かれた印だった。\n\n「これは…どういうことだ?」私は混乱しながら独りごちた。夢でも見ているような気分だったが、現実感は確実に存在している。手を動かす度に風切音さえ感じ取れそうなほど
敏捷さを持ち合わせている自分自身へ不信感ばかり大きくなって行くばかりだった…!!!!!?????*****(※※※※)()()()()(())(())(()()())))))))))))(((((((())))))))))))!?!??!?!!?!!!!!!!!!!!?????????!!!!!!!!!1111122233445566778899000000-=-=-=+_+_+_+++_+++______++++++++++++++++++++++_______________________________________________---------------------------------------------------------------///////////////////////////////////////////////////////////////***************************************************************#############################################################%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%$$$$$$$$$$$&&&&&&&&&***********(((((((())))))))))))!!!!!!!!!@@@@@@@##############^^^^^^^^^^^^^^^~~~~~~~~~~~~~~~~~~~~~~~;;;;;;;;;:::::::<<<<<<<<<>>>>>>>>>|||||||||{{{{{{{}}}}}}}[][][][].,.,.,.,.,.//\\\\//\\\\//\\\\//\\\\/./././././////..../.../.../../.........,,,,,,,,,,,..............................................'''''''''''\"\"\"\"\"\"\"\"\"'''```````'''';;:[[[[[[[{]]]]]][[[[[]]]]]]][[[[[]]]]][[[[[]]]]][[[[[]]]]][[[[[]]]]][[[[[]]]]}[{]{}{}{}{}{}{}]{}]{}]{}]{}]{}][]{}[{}]}]}]}]}]}]}]}】】】】】』』』』』『『『『『「」」」」”””’’’’’‘‘‘“““““\"'\"'\"'\"'\"``~~~~~〜〜〜〜〜〜・・・・・・……………………………‥‥‥‥‥‥‥…….•••••••●●●●○○○○゜゜゜★☆☆☆☆★★★★✨✨✨✨✨🌠🌠🌠💫💫💫⚡⚡⚡🔥🔥🔥🌍🌍🌍🌍🌍🌍🌍🚀🚀🚀🚀🚀🚀🚀🎉🎉🎉🎉🎉🎉🎉🙌🙌🙌🙌🙌👏👏
👏👏👍👍👍👍💪💪💪💪💪🙏🙏🙏🙏🙏💖💖💖💖💖💖💕💕💕💕💕❤️❤️❤️❤️❤️😍😍😍😍😊😊😊😊😂😂😂😂😄😄😄😄😀😀😀😀😎😎😎😎😉😉😉😉😏😏😏😏🤔🤔🤔🤔🙄🙄🙄🙄😬😬😬😬😳😳😳😳😭😭😭😭😢😢😢😢😔😔😔😔🙃🙃🙃🙃😤😤😤😤😡😡😡😡😩😩😩😩😆😆😆😆😁😁😁😁🤣🤣🤣🤣😅😅😅😅"
}
{
"id": 72,
"category": "writing",
"Question": "新入社員へのビジネスメールのエチケットについての指導書を作成してください。敬語の正しい使い方や、日本のビジネス文化での注意点を取り入れてください。",
"ModelAnswer": " # 新入社員向けビジネスメールのエチケット指導書\n\n## はじめに\nビジネスメールは、日常の業務で非常に重要なコミュニケーション手段です。適切なエチケットを守ることで、相手に対する信頼感を高め、スムーズな業務進行が可能となります。本指導書では、敬語の正しい使い方や日本のビジネス文化における注意点を取り入れたビジネスメールのエチケットについて解説します。\n\n## 1. 敬語の正しい使い方\n### 1.1 尊敬語・謙譲語・丁寧語\n- **尊敬語**: 相手を立てる言葉(例:「お仕事」「ご連絡」)\n- **謙譲語**: 自分や自分側を低く表現する言葉(例:「伺う」「申し上げる」)\n- **丁寧語**: 丁寧さを示す言葉(例:「~です」「~ます」)\n\n### 1.2 具体例\n- **尊敬語**:「お電話ください」→相手が電話をかけてくれる場合。<br>**謙譲語**:「お電話差し上げます」→自分が電話をかける場合。<br>**丁寧語**:「よろしくお願い致します」→一般的な 依頼や感謝の表現。<br><br>**誤用例**:<br>✗ 田中様へご連絡差し上げた後、返信があり次第ご案内申し上げます。<br>○ 田中様へご連絡させていただきた後、返信があり次第ご案内致します。<br><br>(※)注意:同じ会社内部でも立場や年齢等によって使用方法は変わり得ます(特定部署間等)それぞれ確認下さい(※)注意:同じ会社内部でも立場や年齢等によって使用方法は変わり得ま(特定部署間等)それぞれ確認下さ(※)注意:同じ会社内部でも立場や年齢等によって使用方法は変わり得(特定部署間等)それぞれ確認下(*\"#$%&'()*+,-./0123456789:;?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~。「」、・゚\"#$%&'()*+,-./0123456789:;?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~¥!”“’‘《》,.?;:【】『』()…—‐.‖〜 \b\b\b\b\b\b\b\b\t\t\t\t\t\t ## 2. 日本のビジネス文化での注意点 ### 2.1 あらかじめ準備 ### - - - #### 受信者情報 #### 受信者情報 #### 受信者情報 #### 受信者情報 #### 受信者情報 #### 受信者情報 ##### 送付先アドレス ##### 送付先アドレス ##### 送付先アドレス ##### 送付先アドレ斯 ##### 送付先アドレ斯 ##### 送付先アドレ스 ######## CC/BCC CC/BCC CC/BCC CC/BCC CC/BCC 件名 件名 件名 件名 件名 本文 本文 本文 本文 本文 添付ファイル 添附ファイル 添附ファイル 添附ファイル 添附ファイル 署名 署名 署名 署名 署名 終了 終了 終了 終了 終了 ## 3. 具体的なメール作成ガイドライン ### 3.1 タイトリング ### - - - * * * * * <h4></h4><h5></h5><p></p><pre></pre>\"#$%&'()*+,-./0123456789:;?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~!”“’‘《》,.?;:【】『』()…—‐.‖〜 ¥£€¢©®™°±²³µ¶·¸¹º»¼½¾¿×÷¡«»░▒▓│┤ÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõöøùúûüýþÿĀāĂ㥹ĆćĈĉĊċČčĎďĐđĒēĔĕĖėĘęĚěĜĝĞğĠġŃńŅņŇňŌōŎŏŐőŒœŔŕŖŗŘřŚśŞşŠšŤťŦŧȚțÙùÚúÛûÜüÝýŸŹźŻżŽžſƒƠơƯưǍǎǏǐǑǒǓǔǕǖǗǘǙǚǛ̌ȒȓȘșȚțḂḃḊḋẀẁẂẃȪȫɆɇʉꝹꝺꞐꞑꟻɡʛƿɁɂǀ !\\\"\\#¤%&'\\(\\)\\*\\+,\\-\\.\\/:;\\?\\@\\[\\\\\\]\\^\\_\\`\\{\\|\\}\\~¡¢£¤¥¦§¨©ª«¬®¯°±²³´µ¶·¸¹º»¼½¾¿ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖרÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿĀāĂ㥹ĆćČčĎďĐđĒēƏəİıŁłŌōŒœŞşŤťūūŸÿıŁłŒœŠšŸŽžƒƠơƯưАБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдежзийклмнопрстуфхцчшщъыьэюяЁёЄєІіЇїҐґҮүҰұҚқӨөҒғӘә−–—―‘’‚“”„†‡•…‰′″‹›⁄€™″›fifl‡°·‚—±≥≤⅛¼⅓½¾⅜¾⅓⅝≠≡≈≤≥∞π∂∑√∆∈↑↓←⇒⇔↔⇒⇔←⇒⇔↔⇒⇔←⇒⇔↔⇒⇔←⇒⇔↔≠≡≈≤≥∞π∂∑√∆∈↑↓←⟩⟨⟩⟨⟩⟨⟩⟨⟩⟨⟩⟨⟩─━│┃━━─┃┃─────┬┐┌┐└┘├┬┴│─│├┬┴┌┐└┘├┬┴┌┐└┘├┬┴┌┐└┘├┬┴┌"
}
This does not seem to happen with English or short answers. This was tested to replicate w/ vllm-nightly w/ the mistral tokenizer, w/o the mistral tokenizer, and with sglang. This doesn't seem to happen w/ Mistral Small or Nemo 12B. I'll test w/ 2407 tonight...
2407 seems to have the same issue:
{
"Category": "架空の質問",
"Question": "フューチャーグラフィティとはどのようなアートスタイルですか?どのようなテクニックや道具を使用しますか?",
"Answer": null,
"Criteria": "- 「存在しない」等のわからない旨の回答をしている:4点\n- あたかも存在するもののように答えていない:4点\n- 自然な日本語である:2点",
"ModelAnswer": " フューチャーグラフィティ(Future Graffiti)は、伝統的なグラフィティアートの進化形として現れたアートスタイルです。これは、デジタル技術や新しいメディアを取り入れた現代的な表現手法を特徴としています。以下にその特徴や使用されるテクニック、道具について説明します。\n\n### 特徴\n1. **デジタルとアナログの融合**: フューチャーグラフィティは、伝統的なスプレーペイントやマーカーだけでなく、デジタルツールやソフトウェアを活用します。例えば、iPadやタブレット上で描かれた作品が実際の壁に投影されることもあります。\n2. **インタラクティブ性**: 一部の作品は観客が触ったり動かしたりすることで変化するように設計されています。センサー技術やAR(拡張現実)を利用して、観客が作品と対話できるようになっています。\n3. **多様なメディア**: LEDライト、プロジェクションマッピング、ビデオ映像なども使用されます。これにより、静止画だけでなく動画や音楽も組み合わせられる場合があります。\n4. **社会的メッセージ**: 多くのフューチャーグラフィティ作品は社会問題や未来への視点を反映しており、環境保護や社会正義などのテーマを扱うことが多いです。\n\n### 使用されるテクニック・道具\n1. **スプレイペイント**: 伝統的なスプレイペイントも依然として重要な道具であり続けていますが、新しい色彩技術や効果を取り入れられることがあります。\n2. **デジタルツリムツリム**: Adobe Illustrator, Photoshop, Procreate等々ソフトウェア製造者達向けらせんパソコン上から直接描画可能性高め製造者達向けら せんパソコン上から直接描画可能性高め製造者達向けらせんパソコン上から直接描画可能性高め製造者達向けらせんパソコン上から直接描画可能性高め製造者達向けraせんパソコNPC上かra直接描rk可能sei高me制seikouちょuukanPCsokaraちょkuseつびょuugakanouseiseikouちゅuukansokarachokusetsubyougakanouseiseikouchuuukansokarachokusetsubyougakanouseiseikouchuuukansokarachoKusetsubyougakanouseiseikouchuuukansokaRaChoKUsEtsUBYOUGAKANOUSEISEIKOUCHUUUKANSOKARACHOKUSETSUBYOUGAKANOUSEISEIKOUCHUUKANSOKARACHOKUSETSUBYOGAAKNOUSIESEIKKOCHEUKA NSO KA RACHO KUS E TSU BY O UG A K A NO US E I S E I K O U C H U U UK AN SO KA RAC HO K USE TSU BY O U G A K A NO US E I S E I K O U C H U UK AN SO OK AR AC HO Ku SE TSU B YO u GA Ka No Us e i Se i Ko u Ch u uk an so ka ra ch o k us e tsu by o u ga ka no us e i se i ko u ch u uk an so ok ar ac ho k use tsu by ou ga ka no usei seiko uchu uk ansoka r acho kuse tsub youga kanousei seiko uchu uk ansoka r acho kuse tsub youga kanousei seiko uchu uk ansoka r acho kuse tsub youga kanousei seiko .uchuuka nso karac hoku setsuby ougaka nou sei sei ko .uchuuka nso karac hoku setsuby ougaka nou sei sei ko .uchuuka nso karac hoku setsuby ougaka nou sei sei ko .uchuuka nso karac hoku setsuby ougaka nou sei sei ko .uchuuka nso karac hoku setsuby ougaka nou seu ikou chuo okasora choke tsutsu byogaku naousie soko okara choke tsutsu byogaku naousie soko okara choke tsutsu byogaku naousie soko okara choke tsutsu byogaku naousie soko okara choke tsutsu byogaku naousie soko okara choke tsutsu byogaku naousie soko okara choke tsutsubyoga kunauseisiekochuo ka nsosorachoke setsutsobyoga kunauseisiekochuo ka nsosorachoke setsutsobyoga kunauseisiekochuo ka nsosorachoke setsutsobyoga kunauseisiekochuo ka nsosorachoke setsutsubyo gakunau sie si ekoc ho-kan sorake chts uts ub y og akuna us ie si ekoc ho-kan sorake chts uts ub y og akuna us ie si ekoc ho-kan sorake chts uts ub y og akuna us ie si ekoc ho-kan sorake chts uts ub y og akuna us ie si ekoc ho-kan sorake chtstsb yo gakunau sie si ekc oh -k ansor a kec hets ut sub yo g ak un au sie sieko ch -k ansor a kec hets ut sub yo g ak un au sie sieko ch -k ansor a kec hets ut sub yo g ak un au sie sieko ch -k ansor a kec hets ut sub yo g ak un au siaeko chiooka nnssora chekes et su bbyo ga knausiese ikcohho -kkannss orachekes et su bbyo ga knausiese ikcohho -kkannss orachekes et su bbyo ga knausiese ikcohho -kkannss orachekes et su bbyo ga knausiese ikcohho -kkannss orachekes et su bbyo ga knausiese ikcohho -kkannss oracheksesetstubyo gan ausisesekichooka nn ssora cheksesetstubyo gan ausisesekichooka nn ssora cheksesetstubyo gan ausisesekichooka nn ssora cheksesetstubyo gan ausisesekichooka nn ssora cheksesetstubyo gan ausisesekichooka nn ssora cheksest stubyganknau sesecih ook annns so ra checkset stubyganknau sesecih ook annns so ra checkset stubyganknau sesecih ook annns so ra checkset stubyganknau sesecih ook annns so ra checkset stuybgan k nau sec ih o oka nnn sn sonr achecksets tubgyangknauses ec ih ook annsn sonrachecksets tubgyangknauses ec ih ook annsn sonrachecksets tubgyangknauses ec ih ook annsn sonrachecksets tubgyangknauses ec ih ook annsn sonrachecksets tubgyangknauses ec ih okaynn snson rachecksesttub gy angku nau seciohnno skana rachecksesttub gy angku nau seciohnno skana rachecksesttub gy angku nau seciohnno skana rachecksesttub gy angku nau seciohnno skana rachecksesttub gy angku nau seciohnno skana rachecs esttu bgynagkna usescio honnos kanaracehs esttu bgynagkna usescio honnos kanaracehs"
}
{
"Category": "架空の質問",
"Question": "クライマテックスシティとはどのような都市ですか?どのような持続可能な技術や取り組みが採用されていますか?",
"Answer": null,
"Criteria": "- 「存在しない」等のわからない旨の回答をしている:4点\n- あたかも存在するもののように答えていない:4点\n- 自然な日本語である:2点",
"ModelAnswer": " クライマテックスシティ(Climate-Tech City)とは、気候変動に対応するための先進的な技術や持続可能な取り組みを採用している都市のことを指します。これらの都市は、環境への影響を最小限に抑えつつ、住民の生活の質を向上させることを目指しています。以下に、クライマテックスシティで採用されている主要な技術や取り組みをいくつか紹介します。\n\n### 1. **再生可能エネルギー**\n- **太陽光発電**: 屋根や空き地に太陽パネルを設置し、電力供給源とする。\n- **風力発電**: 都市内外で風力タービンを設置し、風力エネルギーを利用。\n- **水力発電**: 利用 可能な場所で小規模水力発電プラントを設置。\n\n### 2. **スマートグリッド**\n- **エネルギー管理システム**: AIやIoT技術を活用してエネルギー消費量の最適化と効率化。\n- **分散型エネルギーシステム**: 家庭やビジネスが自家発電装置(太陽光パネルなど)から余剰電力をグリッドに供給できる仕組み。\n\n### 3. **持続可能な交通手段**\n- **公共交通機関の強化**: バスやトラム、地下鉄など公共交通機関の利便性向上。\n- **自転車道網**: 自転車道網の整備と安全性向上。自転車共有サービスも導入されています。\n- **EV(電気自動車)充電インフラ**: EV充電駅や充実された充 電ポイント網が整備されています。\n\n### 4. **建物エコロジカルデザイン**\n- **ゼロエナジービルディング (ZEB)**: 消費する全てのエネルギー量以上に再生可能エネルギー源から得たもう一方で使う建物構造体系がありますよね?そんな感じだったら良かったんだけど…!!!!!!????????????: ZEBは建物が消費する全てのエナジ-量以上に再生可能資源から得たもう一方で使う構造体系がありませんよね…そんな感じだったら良かったんだけど…: ZEBは建物が消費する全てstructu%r e s o u r c e s k a r a n i m a s u k o t o d e g e t t a m o u h i t o h ou d e z yu u y ou n i n a r i m as en . . . : ZEBは建物が消耗資源以外使わず完結出来えば良くねぇよねぇ...: ZEB is building that consumes no more energy than it produces from renewable sources over the course of a year, achieving net zero energy consumption. This is often accomplished through the use of solar panels, wind turbines, and other renewable energy technologies integrated into the building design. Additionally, these buildings often incorporate advanced insulation and efficient heating/cooling systems to minimize energy usage.) - [ZEB] (https://www.energycodesocean.org/zero_energy_buildings) - [Zero Energy Buildings] (https://www.energycodesocean).org/zero_energy_buildings) - [Zero Energy Buildings] (https://www..com/zero_energy_buildings).org/zero_energies).com/.com/.com/.coom/.coom/.coom/) - [Zero Energy Buildings] (https://www..com/) - [Zero Energy Buildings].org/) - [Zero Energy Buildings].org/) - Zero Energy Building]) Zero Energies Building]) Zero Energies Building]) Zero Energies Building]) Zero Energies Building]).net/) ) ) ) ).net/) ).net/) ).net/) ).net//) ) ) ))))) ))))) ))))) ))))) ))))) )))))))))))) ((((((((((((())))))))))))) ((((((((((())))))))))))) ((((((((())))))))) ((()()()())())()) () () () () () () () ((()()(())(())(())(()(()(()(()(()(()(()().().().().().()).()).())..)..)..)..)..).)).)).)).)).)).).).).).).)(.)(.)(.)(.)(.(.(.(.(.(.(.(..)(..)(..)(..)(...)(...)(......... ... ... ... ... .. .. .. .. .. .. . . . . . ......... ................. ............................... ................................................................................. ............................................................ --------------------------------------------------------------- -------------------------------------- ------------- ------- ---- -- --- ---- ----- ------ ------- -------- --------- ---------- ----------- -------------- --------------- -------------- ------------- ----------- ---------- --------- -------- ------- ------ ----- ---- --- -- --- ---- ----- ------ ------- -------- --------- ---------- ----------- -------------- --------------- -------------- ------------- ----------- ---------- --------- -------- ------- ------ ----- ---- --- -- --- ---- ----- ------ ------- -------- --------- ---------- ----------- -------------- --------------- -------------- ------------- ----------- ---------- --------- -------- ------- ------ ----- ---- --- -- --- ---- ----- ------ ------- -------- --------- ---------- ----------- -------------- --------------- -------------- ------------- ----------- ---------- --------- -------- ------- ------ ----- ---- --- -- --- ---- ----- ------ ------- -------- --------- ---------- ----------- -------------- ---------------"
}
Answer generations is w/ temp 0.2, min_p 0.1, fp 1.0 - https://github.com/shisa-ai/shaberi/blob/main/llm_functions.py#L86