hynt

/

F5-TTS-Vietnamese-100h

like 14

Bộ vinai_100h là dành cho task Speech2Text bạn nhé. Mình sử dụng các bộ Text2Speech của VLSP.

sao mình dùng đúng mà mình chạy qua code của mình toàn tiếng thái nhỉ

@trungphungdnu Do model này finetune từ pretrained model cũ nên dùng dict cũ mới nghe được tiếng Việt nhé.

dict(dim=1024, depth=22, heads=16, ff_mult=2, text_dim=512, text_mask_padding=False, conv_layers=4, pe_attn_head=1)

@duyntnet mình cài theo dict trên vẫn bị ạ trên giao diện gradio mình tự tạo lại để thêm tính năng

dict(dim=1024, depth=22, heads=16, ff_mult=2, text_dim=512, text_mask_padding=False, conv_layers=4, pe_attn_head=1)

@trungphungdnu Code load model của tôi thế này, model tạo tiếng Việt ok:

model = load_model(
    DiT,
    dict(dim=1024, depth=22, heads=16, ff_mult=2, text_dim=512, text_mask_padding=False, conv_layers=4, pe_attn_head=1),
    ckpt_path="models/model_500000.safetensors", # model download về vào thư mục models rồi load từ local 
    vocab_file="models/vocab_500000.txt", # vocab kèm theo của model
)

Bạn dùng F5-TTS bản nào? Có phải bản mới nhất không, tôi dùng bản mới nhất 1.1.0, code của 1.0.8 vẫn dùng được, cũ hơn thì không rõ. Còn muốn dễ hơn bạn cứ clone hẳn cái space của tác giả rồi chạy local là được, hoặc tham khảo code trên space rồi xem của mình khác gì mà không tạo được tiếng Việt.

@hynt Cho mình hỏi, khi bổ sung thêm datasets, bạn cho vào project cũ hay train project mới vậy

Hiện tại thì mình train lại từ đầu nhé, các bạn hoàn toàn có thể custom training tiếp với pretrain extend và vocab đã sẵn có để tiết kiệm thời gian