--- license: mit language: - ja base_model: - litagin/anime-whisper tags: - whisper - anime - japanese --- # anime-whisper-ggml このモデルは、[litagin/anime-whisper](https://huggingface.co/litagin/anime-whisper)を[whisper.cpp](https://github.com/ggml-org/whisper.cpp)を使ってggml変換・量子化を行ったモデルです。 推論の動作自体は確認していますが、文字起こし結果がややおかしくなる問題を抱えています(先頭に謎の文字が入るなど)。解決策等分かる方いれば教えてください。 ## 変換手順 大本のモデルである[kotoba-tech/kotoba-whisper-v2.0-ggml](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0-ggml)のREADMEを参考に、以下のような手順で変換・量子化しています。 ```bash # clone OpenAI whisper and whisper.cpp git clone https://github.com/openai/whisper git clone https://github.com/ggerganov/whisper.cpp # get the models cd whisper.cpp/models huggingface-cli download litagin/anime-whisper --local-dir ./anime-whisper # convert to ggml python ./convert-h5-to-ggml.py ./anime-whisper/ ../../whisper . mv ggml-model.bin ggml-anime-whisper.bin # quantize ggml model cd ../ cmake -B build -DGGML_CUDA=1 cmake --build build -j --config Release ./build/bin/quantize models/ggml-anime-whisper.bin models/ggml-anime-whisper-q8_0.bin q8_0 ```