README.md

---
license: mit
language:
- ja
base_model:
- litagin/anime-whisper
tags:
- whisper
- anime
- japanese
---

# anime-whisper-ggml

このモデルは、[litagin/anime-whisper](https://huggingface.co/litagin/anime-whisper)を[whisper.cpp](https://github.com/ggml-org/whisper.cpp)を使ってggml変換・量子化を行ったモデルです。

推論の動作自体は確認していますが、文字起こし結果がややおかしくなる問題を抱えています（先頭に謎の文字が入るなど）。解決策等分かる方いれば教えてください。

## 変換手順

大本のモデルである[kotoba-tech/kotoba-whisper-v2.0-ggml](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0-ggml)のREADMEを参考に、以下のような手順で変換・量子化しています。

```bash
# clone OpenAI whisper and whisper.cpp
git clone https://github.com/openai/whisper
git clone https://github.com/ggerganov/whisper.cpp

# get the models
cd whisper.cpp/models
huggingface-cli download litagin/anime-whisper --local-dir ./anime-whisper

# convert to ggml
python ./convert-h5-to-ggml.py ./anime-whisper/ ../../whisper .
mv ggml-model.bin ggml-anime-whisper.bin

# quantize ggml model
cd ../
cmake -B build -DGGML_CUDA=1
cmake --build build -j --config Release
./build/bin/quantize models/ggml-anime-whisper.bin models/ggml-anime-whisper-q8_0.bin q8_0
```