Text Generation
GGUF
Chinese
security
chat
conversational
wygbb commited on
Commit
54f6932
·
verified ·
1 Parent(s): 80828bb

Upload folder using huggingface_hub

Browse files
Files changed (3) hide show
  1. .gitattributes +1 -0
  2. README.md +90 -0
  3. SecGPT-7B-F16.gguf +3 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ SecGPT-7B-F16.gguf filter=lfs diff=lfs merge=lfs -text
README.md ADDED
@@ -0,0 +1,90 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: SecGPT/SecGPT-7B
3
+ language:
4
+ - zh
5
+ license: apache-2.0
6
+ pipeline_tag: text-generation
7
+ tags:
8
+ - security
9
+ - chat
10
+ quantized_by: clouditera
11
+ ---
12
+
13
+ # SecGPT-7B GGUF 模型(F16 版本)
14
+
15
+ 本模型为 **SecGPT-7B** 的 GGUF 格式 F16 精度版本,专为 [Ollama](https://ollama.com) 与 [llama.cpp](https://github.com/ggerganov/llama.cpp) 推理框架优化,适用于在本地安全场景中低延迟、高并发部署。
16
+
17
+ ## 模型信息
18
+
19
+ - **模型名称**:SecGPT-7B
20
+ - **格式**:GGUF
21
+ - **精度**:F16(无量化)
22
+ - **上下文长度**:32768 tokens
23
+ - **推理框架支持**:Ollama / llama.cpp
24
+
25
+ ## 推理框架推荐:Ollama
26
+
27
+ 你可以使用 [Ollama](https://ollama.com) 本地运行该模型,部署简单,支持 GPU 加速推理。
28
+
29
+ ### 示例:启动模型
30
+
31
+ 1. 创建 `Modelfile` 文件,内容如下:
32
+
33
+ ```Dockerfile
34
+ FROM ./SecGPT-7B-GGUF/SecGPT-7B-F16.gguf
35
+
36
+ PARAMETER temperature 0.7
37
+ PARAMETER top_p 0.8
38
+ PARAMETER repeat_penalty 1.05
39
+ TEMPLATE """{{ if .System }}<|im_start|>system
40
+ {{ .System }}<|im_end|>
41
+ {{ end }}{{ if .Prompt }}<|im_start|>user
42
+ {{ .Prompt }}<|im_end|>
43
+ {{ end }}<|im_start|>assistant
44
+ {{ .Response }}<|im_end|>"""
45
+ # set the system message
46
+ SYSTEM """
47
+ You are a helpful assistant.
48
+ """
49
+ ```
50
+
51
+ 2. 在与 `Modelfile` 文件的目录下,执行以下命令构建模型:
52
+
53
+ ```bash
54
+ ollama create secgpt-7b -f Modelfile
55
+ ```
56
+
57
+ 3. 运行模型:
58
+
59
+ ```bash
60
+ ollama run secgpt-7b
61
+ ```
62
+
63
+ ##
64
+
65
+ ## 📮 联系我们
66
+ <div align=center><img src="images/20240220-164216.jpg" alt="" width="40%" height="40%">
67
+ </div>
68
+ SecGPT 是一个面向网络安全领域的大模型开源项目,我们相信开放、协作、共享的力量,能够不断推动行业智能化进程。
69
+
70
+ 我们诚挚邀请全球的安全研究者、工程师、爱好者共同参与 SecGPT 的建设与优化:
71
+
72
+ - 🧠 提出使用建议或功能需求
73
+ - 🐞 反馈问题并提交 Issue
74
+ - 💻 贡献代码与安全任务数据集
75
+ - 📢 参与使用经验交流与最佳实践分享
76
+
77
+ 📬 若您对模型有任何疑问或合作意向,欢迎通过 GitHub 参与贡献或联系云起无垠团队。我们期待与更多志同道合的伙伴一起,共建“真正懂安全”的 AI 系统。
78
+
79
+ ## ⭐ Star History
80
+
81
+ [![Star History Chart](https://api.star-history.com/svg?repos=Clouditera/secgpt&type=Date)](https://star-history.com/#Clouditera/secgpt&Date)
82
+
83
+ ## ⚠️ 免责声明
84
+
85
+ 在使用 SecGPT 时,请您注意以下事项:
86
+
87
+ - 本项目为研究与交流目的所构建,输出内容可能受限于模型训练数据的覆盖范围;
88
+ - 用户在使用模型过程中,应自行判断其输出的正确性与适用性;
89
+ - 若您计划将本模型用于 **公开发布或商业化部署**,请务必明确承担相关法律和合规责任;
90
+ - 本项目的开发者对因使用本模型(包括但不限于模型本身、训练数据、输出内容)所可能产生的任何直接或间接损害概不负责。
SecGPT-7B-F16.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2f03e55f6530c5093da5c7c369c24bb62e1fdc4e1b65f030fdc1e52dc89f33f7
3
+ size 15237853120