上传模型主页
Browse files
README.md
CHANGED
|
@@ -1,3 +1,76 @@
|
|
| 1 |
-
---
|
| 2 |
-
license: apache-2.0
|
| 3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
license: apache-2.0
|
| 3 |
+
datasets:
|
| 4 |
+
- Duyu/Pinyin-Hanzi
|
| 5 |
+
language:
|
| 6 |
+
- zh
|
| 7 |
+
pipeline_tag: text2text-generation
|
| 8 |
+
---
|
| 9 |
+
|
| 10 |
+
# Pinyin2Hanzi_Transformer
|
| 11 |
+
|
| 12 |
+
基于`Transformer`的预训练汉语拼音序列转汉字序列模型，训练数据全部采用`Duyu/Pinyin-Hanzi`（[单击此处](https://huggingface.co/datasets/Duyu/Pinyin-Hanzi) 跳转至数据集页面）
|
| 13 |
+
|
| 14 |
+
## 📖 模型概览
|
| 15 |
+
|
| 16 |
+
| 模型相关参数 | 数值 |
|
| 17 |
+
| ----- | ----- |
|
| 18 |
+
| 参数量 | 62,200,184 (62M) |
|
| 19 |
+
| 可学习参数量比例 | 100% |
|
| 20 |
+
| Transformer编码器层数 | 8 |
|
| 21 |
+
| Transformer解码器层数 | 6 |
|
| 22 |
+
| 词嵌入维度 | 512 |
|
| 23 |
+
| 多头注意力层注意力头数 | 16 |
|
| 24 |
+
| Transformer前馈层维度 | 1024 |
|
| 25 |
+
| 截断长度 | 14 |
|
| 26 |
+
|
| 27 |
+
## 🚀 快速启动
|
| 28 |
+
|
| 29 |
+
### 硬件要求
|
| 30 |
+
**模型推理：** 轻量级模型，常见的家用计算机配置（`8GB`内存及以上）即可运行，若有NVIDIA GPU（使用`CUDA`）可加速。
|
| 31 |
+
|
| 32 |
+
**模型训练：** 可在`CPU`设备上运行（`8GB`内存及以上），但训练速度非常慢，建议使用`NVIDIA GeForce RTX 2080`及以上配置的加速卡GPU。
|
| 33 |
+
|
| 34 |
+
### 使用方法
|
| 35 |
+
|
| 36 |
+
**（一）环境准备：**
|
| 37 |
+
1. 硬件要求：如上所述
|
| 38 |
+
2. 依赖安装：使用的第三方库包括`numpy`、`pandas`、`torch`
|
| 39 |
+
|
| 40 |
+
```bash
|
| 41 |
+
pip install numpy pandas
|
| 42 |
+
# 请查看PyTorch官方文档，以进行torch的安装。
|
| 43 |
+
```
|
| 44 |
+
|
| 45 |
+
3. 下载代码（`run.py`）及预训练权重（`pinyin2hanzi_transformer.pth`）
|
| 46 |
+
|
| 47 |
+
**（二）模型推理：**
|
| 48 |
+
1. 解除主函数中`use_main()`的注释，增加`train_main()`的注释。
|
| 49 |
+
2. 修改`use_main()`中的模型文件路径及汉语拼音序列。
|
| 50 |
+
3. 运行代码，实现预测。
|
| 51 |
+
|
| 52 |
+
**（三）模型训练：**
|
| 53 |
+
1. 准备好适当的训练环境（带加速显卡的机器）
|
| 54 |
+
2. 准备数据集
|
| 55 |
+
- 文件格式：`CSV`文件。
|
| 56 |
+
- 第一列是汉字序列。
|
| 57 |
+
- 第二列是拼音序列，每个汉字对应的拼音用一个空格隔开。
|
| 58 |
+
|
| 59 |
+
3. 解除主函数中`train_main()`的注释，增加`use_main()`的注释。
|
| 60 |
+
4. 根据情况，修改`train_main()`中的各项参数。
|
| 61 |
+
5. 运行代码，开始训练。
|
| 62 |
+
|
| 63 |
+
## 🎓 项目作者
|
| 64 |
+
|
| 65 |
+
**DuYu** (Chinese Simplified: **杜宇**, No.202103180009, [email protected]), Faculty of Computer Science and Technology, Qilu University of Technology (Shandong Academy of Sciences).
|
| 66 |
+
|
| 67 |
+
## 📊 访客统计
|
| 68 |
+
|
| 69 |
+
项目在GitHub平台同步开源：https://github.com/duyu09/Pinyin2Hanzi-Transformer
|
| 70 |
+
|
| 71 |
+
<div><b>Number of Total Visits (All of Duyu09's GitHub Projects): </b><br><img src="https://profile-counter.glitch.me/duyu09/count.svg" /></div>
|
| 72 |
+
|
| 73 |
+
<div><b>Number of Total Visits (Pinyin2Hanzi-Transformer): </b>
|
| 74 |
+
<br><img src="https://profile-counter.glitch.me/duyu09-Pinyin2Hanzi-Transformer/count.svg" /></div>
|
| 75 |
+
|
| 76 |
+
|