TinySwallow-1.5B-Instruct-w8a16

このモデルは、SakanaAI/TinySwallow-1.5B-Instruct を、 M5Stack Module LLM向けにax-llm-buildで変換したモデルになります。

詳細な変換手順はpulsar2ドキュメントを参考にしてください。

アップロードしたaxmodelは次のようなコマンドで変換しています。

pulsar2 llm_build --input_path /path/to/TinySwallow-1.5B-Instruct/ --output_path /path/to/TinySwallow-1.5B-Instruct-ax630c --kv_cache_len 1653 --model_config /path/to/TinySwallow-1.5B-Instruct/config.json --hidden_state_type bf16 --chip AX620E --prefill_len 128

※ 利用したpulser2コンテナは3.3になります。

使い方

別途main_prefillを入手し本リポジトリファイル群とともにModule LLMに配備してください。

AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B など

DeepSeek-R1の例に従い事前にトークナイザをHTTPサーバとして起動します（別ターミナルまたはバックグラウンド起動）。

python3 tinyswallow_tokenizer.py

トークナイザ起動語にデバッグ用のスクリプトを実行します。

./run_TinySwallow_1.5B_prefill_ax630c.sh 
[I][                            Init][ 125]: LLM init start
bos_id: -1, eos_id: 151645
  3% | ██                                |   1 /  31 [0.01s<0.28s, 111.11 count/s] tokenizer init ok[I][                            Init][  26]: LLaMaEmbedSelector use mmap
100% | ████████████████████████████████ |  31 /  31 [8.15s<8.15s, 3.80 count/s] init post axmodel ok,remain_cmm(1434 MB)[I][                            Init][ 241]: max_token_len : 1653
[I][                            Init][ 246]: kv_cache_size : 256, kv_cache_num: 1653
[I][                            Init][ 254]: prefill_token_num : 128
[I][                            Init][ 263]: LLM init ok
Type "q" to exit, Ctrl+c to stop current running
>> こんにちは！
[I][                             Run][ 484]: ttft: 1066.67 ms
こんにちは！ ��

何かお手伝いできることはありますか？ 😊