Korean to Vietnamese translator

Usage

Inference

from transformers import (
    AutoTokenizer,
    AutoModelForSeq2SeqLM)

tokenizer = AutoTokenizer.from_pretrained("bluexmas/mbart50_ko_vi")
model = AutoModelForSeq2SeqLM.from_pretrained("bluexmas/mbart50_ko_vi")

def translate(text):
    batch = tokenizer.prepare_seq2seq_batch([text], return_tensors="pt", max_length=128, truncation=True)
    translated = model.generate(**batch)
    return tokenizer.batch_decode(translated, skip_special_tokens=True)[0]

text = "안녕하세요. 오늘 날씨는 어때요?"
print(text, "--->", translate(text))
# in chào. Hôm nay thời tiết thế nào ạ?

text = "오늘 날씨가 정말 좋네요."
print(text, "--->", translate(text))
# Hôm nay thời tiết đẹp thật đấy.

text = "모든 국민은 법 앞에 평등하다. 누구든지 성별ㆍ종교 또는 사회적 신분에 의하여 정치적ㆍ경제적ㆍ사회적ㆍ문화적 생활의 모든 영역에 있어서 차별을 받지 아니한다."
print(text, "--->", translate(text))
# Tất cả người dân đều bình đẳng trước pháp luật. Bất kỳ ai cũng không bị phân biệt đối xử trong mọi lĩnh vực đời sống chính trị, kinh tế, xã hội, văn hóa dựa trên giới tính, tôn giáo hay thân phận xã hội.

Dataset list

The dataset used to train the model is merged following sub-datasets:

한국어-베트남어 병렬 말뭉치 2023 [Link]
한국어-베트남어 병렬 말뭉치 2022 [Link]

Blog

https://bluexmas.tistory.com