理論介紹Prompt-Tuning是一種參數(shù)高效微調(diào)方法，核心思想可以類比：技術(shù)人員不去修改知識(shí)淵博的教科書（預(yù)訓(xùn)練好的大模型），而是在書的開頭（輸入層）添加幾張非常智能的、可學(xué)習(xí)的便利貼(軟提示/虛擬token(Soft Prompt) 或者叫虛擬提示詞-Virtual Tokens)，便利貼上的內(nèi)容不是固定的文字，而是模型可以自己學(xué)習(xí)調(diào)整的參數(shù)(向量)。 訓(xùn)練時(shí)，凍結(jié)原始模型的絕大部分參數(shù)，只訓(xùn)練新添加的便利貼參數(shù)，讓模型看到特定的便利貼時(shí)，就按照我們期望的方式去執(zhí)行任務(wù)。 核心原理圖示PLM(預(yù)訓(xùn)練模型)不變，W(模型權(quán)重)不變，X(模型輸入)改變。設(shè)計(jì)任務(wù)關(guān)聯(lián)提示模板，并微調(diào)提示嵌入，以引導(dǎo)預(yù)訓(xùn)練模型適應(yīng)特定任務(wù)。僅需微調(diào)少量提示(Prompt Embeddings)，而非整個(gè)模型參數(shù)。 相比傳統(tǒng)微調(diào)的優(yōu)勢(shì)：- · 訓(xùn)練快、資源省：只訓(xùn)練極少數(shù)參數(shù)。
- · 存儲(chǔ)小：每個(gè)新任務(wù)只需要保存那些小小的便利貼參數(shù)，而不是整個(gè)模型。
- · 效果好：在很多任務(wù)上，Prompt-Tuning 的效果可以媲美完全微調(diào)。
- · 原模型不受影響：基礎(chǔ)模型保持不變，可以方便地為不同任務(wù)加載不同的便利貼。
通過代碼解讀原理代碼將展示Prompt-Tuning的完整實(shí)現(xiàn)過程，并解釋其工作原理。(運(yùn)行環(huán)境需pip加裝PEFT包，本代碼采用的PEFT版本為0.14.0)。 Prompt-Tuning方法主要體現(xiàn)在第四步和第八步，需重點(diǎn)閱讀，其余代碼與往期基本一致。 第一步: 導(dǎo)入相關(guān)包import torch
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer
from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit, PeftModel
第二步: 加載數(shù)據(jù)集# 包含 'instruction' (指令), 'input' (可選的額外輸入), 'output' (期望的回答)
ds = Dataset.load_from_disk('../data/alpaca_data_zh/')
第三步: 數(shù)據(jù)集預(yù)處理將每個(gè)樣本處理成包含 input_ids, attention_mask, 和 labels 的字典。 tokenizer = AutoTokenizer.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
defprocess_func(example):
MAX_LENGTH = 256
# 構(gòu)建輸入文本：將指令和輸入(可選)組合到一起，并添加明確的 'Human:' 和 'Assistant:' 標(biāo)識(shí)符。'\n\nAssistant: ' 是提示模型開始生成回答的關(guān)鍵分隔符。
prompt = '\n'.join(['Human: ' + example['instruction'], example['input']]).strip() + '\n\nAssistant: '
# 對(duì)輸入+提示進(jìn)行分詞，這里暫時(shí)不添加特殊token (<s>, </s>)，后面要拼接
instruction_tokenized = tokenizer(prompt, add_special_tokens=False)
# 對(duì)期望的輸出（回答）進(jìn)行分詞，在回答的末尾加上 `tokenizer.eos_token` (end-of-sentence)。告訴模型生成到這里就可以結(jié)束。
response_tokenized = tokenizer(example['output'] + tokenizer.eos_token, add_special_tokens=False)
# 將輸入提示和回答的 token IDs 拼接起來，形成完整的輸入序列 input_ids
input_ids = instruction_tokenized['input_ids'] + response_tokenized['input_ids']
# attention_mask 用于告訴模型哪些 token 是真實(shí)的、需要關(guān)注的，哪些是填充的（padding）。
attention_mask = instruction_tokenized['attention_mask'] + response_tokenized['attention_mask']
# 創(chuàng)建標(biāo)簽 (labels)：這是模型需要學(xué)習(xí)預(yù)測(cè)的目標(biāo)，因?yàn)橹幌ＭＰ蛯W(xué)習(xí)預(yù)測(cè) 'Assistant:' 后面的回答部分，所以將輸入提示部分的標(biāo)簽設(shè)置為 -100，損失函數(shù)自動(dòng)忽略標(biāo)簽為 -100 的 token，不計(jì)算它們的損失。
labels = [-100] * len(instruction_tokenized['input_ids']) + response_tokenized['input_ids']
# 截?cái)?/span>
iflen(input_ids) > MAX_LENGTH:
input_ids = input_ids[:MAX_LENGTH]
attention_mask = attention_mask[:MAX_LENGTH]
labels = labels[:MAX_LENGTH]
# 返回處理好的數(shù)據(jù)
return {
'input_ids': input_ids,
'attention_mask': attention_mask,
'labels': labels
}
# .map() 方法將處理函數(shù)應(yīng)用到整個(gè)數(shù)據(jù)集的所有樣本上。
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names) # `remove_columns` 會(huì)移除原始的列，只保留 process_func 返回的新列。
print('\n檢查第2條數(shù)據(jù)處理結(jié)果:')
print('輸入序列 (input_ids解碼):', tokenizer.decode(tokenized_ds[1]['input_ids']))
target_labels = list(filter(lambda x: x != -100, tokenized_ds[1]['labels'])) # 過濾掉 -100，看看模型真正需要預(yù)測(cè)的標(biāo)簽是什么
print('標(biāo)簽序列 (labels解碼，過濾-100后):', tokenizer.decode(target_labels))
第四步: 創(chuàng)建模型與 PEFT 配置這一步是Prompt-Tuning 的核心步驟，需要嵌入一段文本來初始化'虛擬提示詞'，將文本分詞后，對(duì)應(yīng)的詞向量（embedding）作為虛擬提示詞的初始值。 最后的num_virtual_tokens是指虛擬提示詞嵌入向量的數(shù)量，也是唯一需要訓(xùn)練的參數(shù)。 model = AutoModelForCausalLM.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
# 配置 Prompt Tuning
config = PromptTuningConfig(
task_type=TaskType.CAUSAL_LM, # 因果語言模型
prompt_tuning_init=PromptTuningInit.TEXT, # PromptTuningInit.TEXT 表示用一段文本的嵌入來初始化'虛擬提示詞'，比隨機(jī)初始化效果好。
prompt_tuning_init_text='下面是一段人與機(jī)器人的對(duì)話。', # 對(duì)文本分詞，對(duì)應(yīng)的詞向量（embedding）作為虛擬提示詞的初始值。
num_virtual_tokens=len(tokenizer('下面是一段人與機(jī)器人的對(duì)話。')['input_ids']), # 虛擬提示詞的數(shù)量，等于初始化文本分詞后的長(zhǎng)度，這 `num_virtual_tokens` 個(gè)虛擬提示詞的嵌入向量，就是唯一需要訓(xùn)練的參數(shù)！
tokenizer_name_or_path='D:\\git\\model-download\\bloom-389m-zh'
)
# 通過`get_peft_model`函數(shù)將 Prompt Tuning 配置應(yīng)用到基礎(chǔ)模型上，函數(shù)會(huì)在模型內(nèi)部添加可學(xué)習(xí)的 Prompt Encoder，并自動(dòng)凍結(jié)基礎(chǔ)模型的其他所有參數(shù)。
model = get_peft_model(model, config)
# 查看模型結(jié)構(gòu)的變化，會(huì)多出一個(gè) prompt_encoder 部分
print('PEFT 模型結(jié)構(gòu):', model)
# 檢查可訓(xùn)練參數(shù)：打印并對(duì)比可訓(xùn)練參數(shù)的數(shù)量和總參數(shù)數(shù)量。
model.print_trainable_parameters() # 'trainable parameters' 遠(yuǎn)小于 'all parameters'。
第五步: 配置訓(xùn)練參數(shù)args = TrainingArguments(
output_dir='./chatbot_prompt_tuning_explained_zh',
per_device_train_batch_size=1,
gradient_accumulation_steps=8, # 梯度累積：相當(dāng)于有效批次大小為 1 * 8 = 8，對(duì)于顯存有限的情況有用
logging_steps=10, # 每訓(xùn)練 10 步，打印一次日志信息（如loss）
num_train_epochs=1, # 訓(xùn)練輪數(shù)
save_steps=100, # 每訓(xùn)練 100 步，保存一次模型檢查點(diǎn)（checkpoint）
# learning_rate=1e-3, # Prompt Tuning 通?？梢允褂帽韧耆⒄{(diào)稍大的學(xué)習(xí)率
# gradient_checkpointing=True, # 可以節(jié)省顯存，稍慢一點(diǎn)，如果顯存不足可以開啟
)
第六步: 創(chuàng)建訓(xùn)練器trainer = Trainer(
model=model,
args=args,
tokenizer=tokenizer,
train_dataset=tokenized_ds,
data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),# 數(shù)據(jù)整理器：負(fù)責(zé)將數(shù)據(jù)集中的樣本組成一個(gè)批次(batch)，并進(jìn)行必要的填充(padding)
)
第七步: 模型訓(xùn)練 trainer.train() # 僅優(yōu)化虛擬token的參數(shù)，基礎(chǔ)模型的權(quán)重凍結(jié)。
第八步: 模型推理與效果展示Prompt-Tuning推理：- 1. 推理時(shí)，訓(xùn)練好的虛擬token會(huì)自動(dòng)添加到輸入序列前；
- 2. 虛擬token相當(dāng)于給模型一個(gè)
隱式提示，引導(dǎo)其生成特定風(fēng)格或內(nèi)容的回答； - 3. 用戶無需看到這些虛擬token，它們只在模型內(nèi)部起作用。
標(biāo)準(zhǔn)流程：- 2. 加載訓(xùn)練好的 PEFT 適配器權(quán)重。
- 3. 使用
PeftModel.from_pretrained將兩者結(jié)合起來。
# 1. 加載基礎(chǔ)模型
base_model = AutoModelForCausalLM.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
# 2. 指定 PEFT 適配器權(quán)重所在的目錄
peft_model_path = './chatbot_prompt_tuning_explained_zh/checkpoint-3357/'
# 3. 加載 PEFT 適配器并將其應(yīng)用到基礎(chǔ)模型上
peft_model = PeftModel.from_pretrained(model=base_model, model_id=peft_model_path)
if torch.cuda.is_available():
peft_model = peft_model.cuda()
print('模型已移動(dòng)到 GPU。')
else:
print('未檢測(cè)到 CUDA，將在 CPU 上運(yùn)行推理。')
# 準(zhǔn)備輸入文本
instruction = '考試有哪些技巧？'
input_text = ''
prompt = f'Human: {instruction}\n{input_text}'.strip() + '\n\nAssistant: '
print(f'\n用于推理的輸入 Prompt:\n{prompt}')
# 將輸入文本分詞，轉(zhuǎn)換為tensors，然后移動(dòng)到模型所在的設(shè)備 (CPU 或 GPU)
ipt = tokenizer(prompt, return_tensors='pt').to(peft_model.device)
# 使用 `.generate()` 方法生成回答，PEFT 模型會(huì)自動(dòng)處理軟提示的注入
print('正在生成回答...')
response_ids = peft_model.generate(**ipt, max_length=128, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)
# 將生成的 token IDs 解碼回文本
full_response = tokenizer.decode(response_ids[0], skip_special_tokens=True) # `skip_special_tokens=True` 會(huì)移除像 <|endoftext|> 這樣的特殊標(biāo)記
# 關(guān)注 'Assistant: ' 后面的內(nèi)容
assistant_response = full_response.split('Assistant: ')[-1]
print(f'\n模型生成的回復(fù):\n{assistant_response}')
|
