ChatLM-mini-Chinese為中文對(duì)話(huà)小模型，模型參數(shù)只有0.2B（算共享權(quán)重約210M），可以在最低4GB顯存的機(jī)器進(jìn)行預(yù)訓(xùn)練（batch_size=1，fp16或者 bf16），float16加載、推理最少只需要512MB顯存。

1.預(yù)訓(xùn)練數(shù)據(jù)集來(lái)源的公開(kāi)：明確要求公開(kāi)所有預(yù)訓(xùn)練、SFT（Supervised Fine-Tuning）指令微調(diào)、DPO（Data Preference Optimization）偏好優(yōu)化的數(shù)據(jù)集來(lái)源。

2.使用HuggingfaceNLP框架：該框架包括了transformers、accelerate、trl、peft等多個(gè)組件。

3.自實(shí)現(xiàn)訓(xùn)練器（Trainer）：

·支持單機(jī)單卡、單機(jī)多卡的預(yù)訓(xùn)練和SFT微調(diào)。

·訓(xùn)練過(guò)程可在任意位置停止，并可從停止位置繼續(xù)訓(xùn)練。

4.預(yù)訓(xùn)練的特點(diǎn)：

·采用端到端的Text-to-Text方式，非mask掩碼的預(yù)測(cè)預(yù)訓(xùn)練。

·支持任意位置斷點(diǎn)，可從斷點(diǎn)處繼續(xù)訓(xùn)練。

5.數(shù)據(jù)處理和加載優(yōu)化：

·包括數(shù)據(jù)清洗（例如規(guī)范化、基于mini_hash的文檔去重）。

·數(shù)據(jù)集構(gòu)造及加載優(yōu)化流程。

6.Tokenizer訓(xùn)練：

·多進(jìn)程詞頻統(tǒng)計(jì)。

·支持sentencepiece和huggingface tokenizers的tokenizer訓(xùn)練。

7.大數(shù)據(jù)集處理：

·流式加載GB級(jí)別的大數(shù)據(jù)集。

·支持緩沖區(qū)數(shù)據(jù)打亂，減少內(nèi)存和磁盤(pán)占用。

·在配置為batch_size=1, max_len=320的情況下，支持在16GB內(nèi)存+4GB顯存的機(jī)器上進(jìn)行預(yù)訓(xùn)練。

8.訓(xùn)練日志記錄：記錄訓(xùn)練過(guò)程的日志。

9.SFT微調(diào)：

·開(kāi)源SFT數(shù)據(jù)集及數(shù)據(jù)處理過(guò)程。

·自實(shí)現(xiàn)trainer支持prompt指令微調(diào)，支持任意斷點(diǎn)繼續(xù)訓(xùn)練。

·支持Huggingface trainer的sequence to sequence微調(diào)。

·支持傳統(tǒng)的低學(xué)習(xí)率，僅訓(xùn)練decoder層的微調(diào)。

10.偏好優(yōu)化：

·使用DPO進(jìn)行全量偏好優(yōu)化。

·支持使用peft lora進(jìn)行偏好優(yōu)化。

·支持模型合并，將Lora adapter合并到原始模型中。

11.下游任務(wù)微調(diào)：

·finetune_examples提供三元組信息抽取任務(wù)的微調(diào)示例。

·微調(diào)后的模型對(duì)話(huà)能力保持不變。

1.社區(qū)問(wèn)答：

總量：410萬(wàn)條數(shù)據(jù)

清洗后：260萬(wàn)條數(shù)據(jù)

2.百科類(lèi)問(wèn)答：

總量：140萬(wàn)條數(shù)據(jù)

清洗后：130萬(wàn)條數(shù)據(jù)

3.中國(guó)醫(yī)藥領(lǐng)域問(wèn)答數(shù)據(jù)集：

總量：79萬(wàn)條數(shù)據(jù)

清洗后：79萬(wàn)條數(shù)據(jù)

4.知乎問(wèn)答數(shù)據(jù)：

總量：100萬(wàn)條數(shù)據(jù)

清洗后：97萬(wàn)條數(shù)據(jù)

5.belle開(kāi)源的指令訓(xùn)練數(shù)據(jù)：

總量：370萬(wàn)行

清洗后：338萬(wàn)行

6.維基百科（Wikipedia）詞條數(shù)據(jù)：

使用方式：將詞條拼湊為提示語(yǔ)，百科的前N個(gè)詞為回答

清洗后：119萬(wàn)的詞條提示語(yǔ)和回答

數(shù)據(jù)集總覽：

總數(shù)量：1023萬(wàn)條數(shù)據(jù)

預(yù)訓(xùn)練集：930萬(wàn)條數(shù)據(jù)

評(píng)估集：2.5萬(wàn)條數(shù)據(jù)（考慮到解碼速度，故未設(shè)定過(guò)大）

測(cè)試集：90萬(wàn)條數(shù)據(jù)

from transformers import AutoTokenizer, AutoModelForSeq2SeqLMimport torch
model_id = 'charent/ChatLM-mini-Chinese'device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to(device)
txt = '如何評(píng)價(jià)Apple這家公司？'
encode_ids = tokenizer([txt])input_ids, attention_mask = torch.LongTensor(encode_ids['input_ids']), torch.LongTensor(encode_ids['attention_mask'])
outs = model.my_generate(    input_ids=input_ids.to(device),    attention_mask=attention_mask.to(device),    max_seq_len=256,    search_type='beam',)
outs_txt = tokenizer.batch_decode(outs.cpu().numpy(), skip_special_tokens=True, clean_up_tokenization_spaces=True)print(outs_txt[0])

·從克隆倉(cāng)庫(kù)代碼開(kāi)始

git clone --depth 1 https://github.com/charent/ChatLM-mini-Chinese.gitcd ChatLM-mini-Chinese

·安裝依賴(lài)

本項(xiàng)目推薦使用python 3.10，過(guò)老的python版本可能不兼容所依賴(lài)的第三方庫(kù)。

pip安裝：

pip install -r ./requirements.txt

如果pip安裝了CPU版本的pytorch，可以通過(guò)下面的命令安裝CUDA版本的pytorch：

# pip 安裝torch + cu118pip3 install torch --index-url https://download.pytorch.org/whl/cu118

conda安裝：

conda install --yes --file ./requirements.txt

·下載預(yù)訓(xùn)練模型及模型配置文件

# 使用git命令下載huggingface模型，先安裝[Git LFS]，否則下載的模型文件不可用git clone --depth 1 https://huggingface.co/charent/ChatLM-mini-Chinese
mv ChatLM-mini-Chinese model_save

也可以直接從Hugging Face Hub倉(cāng)庫(kù)ChatLM-Chinese-0.2B手工下載，將下載的文件移動(dòng)到model_save目錄下即可。

# 構(gòu)造merge數(shù)組words_merge_list = []for word in words_dict.keys():    n = len(word)    if n >= 2:        # a, b切分12345示例：1 2345,  12 345,   123 45,   1234 5        for i in range(1, n):            a, b = ''.join(word[0: i]), ''.join(word[i: ])
            if a in words_dict and b in words_dict:                words_merge_list.append((a, b))

本項(xiàng)目還提供了使用預(yù)訓(xùn)練模型自帶的tokenizer根據(jù)自己的語(yǔ)料重新訓(xùn)練tokenizer的例子，見(jiàn)train_tokenizer.ipynb。注意，重新訓(xùn)練tokenizer后，預(yù)訓(xùn)練模型的權(quán)重將無(wú)法使用，需要重新訓(xùn)練模型權(quán)重，因?yàn)閠oken對(duì)應(yīng)的id變了。

https://github.com/charent/ChatLM-mini-Chinese

開(kāi)源AI項(xiàng)目落地

分享有價(jià)值的開(kāi)源項(xiàng)目，并且致力于A(yíng)i項(xiàng)目的落地。