|
|
--- |
|
|
license: mit |
|
|
language: |
|
|
- ja |
|
|
base_model: |
|
|
- litagin/anime-whisper |
|
|
tags: |
|
|
- whisper |
|
|
- anime |
|
|
- japanese |
|
|
--- |
|
|
|
|
|
# anime-whisper-ggml |
|
|
|
|
|
このモデルは、[litagin/anime-whisper](https://huggingface.co/litagin/anime-whisper)を[whisper.cpp](https://github.com/ggml-org/whisper.cpp)を使ってggml変換・量子化を行ったモデルです。 |
|
|
|
|
|
推論の動作自体は確認していますが、文字起こし結果がややおかしくなる問題を抱えています（先頭に謎の文字が入るなど）。解決策等分かる方いれば教えてください。 |
|
|
|
|
|
## 変換手順 |
|
|
|
|
|
大本のモデルである[kotoba-tech/kotoba-whisper-v2.0-ggml](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0-ggml)のREADMEを参考に、以下のような手順で変換・量子化しています。 |
|
|
|
|
|
```bash |
|
|
# clone OpenAI whisper and whisper.cpp |
|
|
git clone https://github.com/openai/whisper |
|
|
git clone https://github.com/ggerganov/whisper.cpp |
|
|
|
|
|
# get the models |
|
|
cd whisper.cpp/models |
|
|
huggingface-cli download litagin/anime-whisper --local-dir ./anime-whisper |
|
|
|
|
|
# convert to ggml |
|
|
python ./convert-h5-to-ggml.py ./anime-whisper/ ../../whisper . |
|
|
mv ggml-model.bin ggml-anime-whisper.bin |
|
|
|
|
|
# quantize ggml model |
|
|
cd ../ |
|
|
cmake -B build -DGGML_CUDA=1 |
|
|
cmake --build build -j --config Release |
|
|
./build/bin/quantize models/ggml-anime-whisper.bin models/ggml-anime-whisper-q8_0.bin q8_0 |
|
|
``` |
