shibing624 / chinese-alpaca-plus-13b-pth

Chinese Alpaca Plus 13B Model(PyTorch版本权重.pth文件)

发布中文LLaMA-Plus, Alpaca-Plus 13B版本模型

发布中文LLaMA-Plus, Alpaca-Plus 13B版本，改进点如下：

• 相比基础版进一步扩充了训练数据，其中LLaMA扩充至120G文本，Alpaca扩充至4.3M指令数据，重点增加了科学领域数据，涵盖：物理、化学、生物、医学、地球科学等
• Alpaca训练时采用了更大的rank，相比基础版具有更低的验证集损失
• Alpaca评测结果：13B获得74.3分，Plus-7B获得78.2分，Plus-13B获得80.8分，具体评测结果请参考 效果评测
• 多轮回复长度相比旧模型提升明显（可适当增大温度系数）
• 知识问答、写作、翻译等方面效果显著提升

本模型是 decapoda-research/llama-13b-hf 底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重， 并转化为PyTorch版本权重（.pth文件），可以直接使用或者继续训练。

test case:

Release model weight

• chinese-llama-plus-7b 模型权重链接： https://huggingface.co/minlik/chinese-llama-plus-7b-merged
• chinese-alpaca-plus-7b 模型权重链接： https://huggingface.co/shibing624/chinese-alpaca-plus-7b-hf
• chinese-llama-plus-13b 模型权重链接： https://huggingface.co/shibing624/chinese-llama-plus-13b-hf
• chinese-aplaca-plus-13b 模型权重链接： https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf

Usage

llama.cpp进行量化和部署，或者调用执行

模型来源

release合并后的模型权重，一步到位直接使用，省电、减少碳排放。

基于 多LoRA权重合并（适用于Chinese-Alpaca-Plus ） 方法手动合并而成，具体是使用 decapoda-research/llama-13b-hf 底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重 得到，并转化为PyTorch版本权重（.pth文件）。

HuggingFace版本权重（.bin文件）可用于：

• 使用Transformers进行训练和推理
• 使用text-generation-webui搭建界面

PyTorch版本权重（.pth文件）可用于：

• 使用llama.cpp工具进行量化和部署

HuggingFace版本权重（.bin文件）链接： shibing624/chinese-alpaca-plus-13b-hf

模型文件组成：

chinese-alpaca-plus-13b-pth
|-- consolidated.00.pth
|-- consolidated.01.pth
|-- LICENSE
|-- params.json
|-- README.md
|-- special_tokens_map.json
|-- tokenizer_config.json
`-- tokenizer.model

硬件要求：25G显存

微调数据集

我整理部分公开微调数据集：

1. 50万条中文ChatGPT指令Belle数据集： BelleGroup/train_0.5M_CN
2. 100万条中文ChatGPT指令Belle数据集： BelleGroup/train_1M_CN
3. 5万条英文ChatGPT指令Alpaca数据集： 50k English Stanford Alpaca dataset
4. 5万条中文GPT4指令Alpaca数据集： shibing624/alpaca-zh
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)： Chinese-Vicuna/guanaco_belle_merge_v1.0

如果需要训练LLaMA模型，请参考 https://github.com/shibing624/textgen

Citation

@software{textgen,
  author = {Xu Ming},
  title = {textgen: Implementation of language model finetune},
  year = {2023},
  url = {https://github.com/shibing624/textgen},
}

Reference

• https://github.com/ymcui/Chinese-LLaMA-Alpaca