👉导读
👉目录
1 准备训练环境
2 准备训练数据
3 训练分词器
4 训练模型
5 测试模型
6 完整代码
本文以代码为主，运行代码需要 Python 环境。
01
|
tokenizers==0.13.3torch==2.0.1transformers==4.30.
02
03
from tokenizers import Tokenizerfrom tokenizers.models import BPEfrom tokenizers.trainers import BpeTrainerfrom tokenizers.normalizers import NFKC, Sequencefrom tokenizers.pre_tokenizers import ByteLevelfrom tokenizers.decoders import ByteLevel as ByteLevelDecoderfrom transformers import GPT2TokenizerFast# 构建分词器 GPT2 基于 BPE 算法实现tokenizer = Tokenizer(BPE(unk_token="<unk>"))tokenizer.normalizer = Sequence([NFKC()])tokenizer.pre_tokenizer = ByteLevel()tokenizer.decoder = ByteLevelDecoder()special_tokens = ["<s>","<pad>","</s>","<unk>","<mask>"]trainer = BpeTrainer(vocab_size=50000, show_progress=True, inital_alphabet=ByteLevel.alphabet(), special_tokens=special_tokens)# 创建 text 文件夹，并把 sanguoyanyi.txt 下载，放到目录里files = ["text/sanguoyanyi.txt"]# 开始训练了tokenizer.train(files, trainer)# 把训练的分词通过GPT2保存起来，以方便后续使用newtokenizer = GPT2TokenizerFast(tokenizer_object=tokenizer)newtokenizer.save_pretrained("./sanguo")
运行时显示如下图：
成功运行代码后，我们在 sanguo 目录生成如下文件：
merges.txtspecial_tokens_map.jsontokenizer.jsontokenizer_config.jsonvocab.json
04
from transformers import GPT2Config, GPT2LMHeadModel, GPT2Tokenizer# 加载分词器tokenizer = GPT2Tokenizer.from_pretrained("./sanguo")tokenizer.add_special_tokens({"eos_token": "</s>","bos_token": "<s>","unk_token": "<unk>","pad_token": "<pad>","mask_token": "<mask>"})# 配置GPT2模型参数config = GPT2Config(vocab_size=tokenizer.vocab_size,bos_token_id=tokenizer.bos_token_id,eos_token_id=tokenizer.eos_token_id)# 创建模型model = GPT2LMHeadModel(config)# 训练数据我们用按行分割from transformers import LineByLineTextDatasetdataset = LineByLineTextDataset(tokenizer=tokenizer,file_path="./text/sanguoyanyi.txt",block_size=32,# 如果训练时你的显存不够# 可以适当调小 block_size)from transformers import DataCollatorForLanguageModelingdata_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False, mlm_probability=0.15)from transformers import Trainer, TrainingArguments# 配置训练参数training_args = TrainingArguments(output_dir="./output",overwrite_output_dir=True,num_train_epochs=20,per_gpu_train_batch_size=16,save_steps=2000,save_total_limit=2,)trainer = Trainer(model=model,args=training_args,data_collator=data_collator,train_dataset=dataset,)trainer.train()# 保存模型model.save_pretrained('./sanguo')
成功运行代码，我们发现 sanguo 目录下面多了三个文件：
config.jsongeneration_config.jsonpytorch_model.bin
现在我们就成功生成训练出基于《三国演义》的一个大语言模型。
05
from transformers import pipeline, set_seedgenerator = pipeline('text-generation', model='./sanguo')set_seed(42)txt = generator("吕布", max_length=10)print(txt)
txt = generator("接着奏乐", max_length=10)print(txt)
06
以下是完整代码，代码地址：
https://github.com/xinzhanguo/hellollm/blob/main/sanguo.py
linux 中运行方法：
# 创建环境python3 -m venv ~/.env# 加载环境source ~/.env/bin/activate# 下载代码git clone git@github.com:xinzhanguo/hellollm.gitcd hellollm# 安装依赖pip install -r requirements.txt# 运行代码python sanguo.py
以上我们就完成一个全新的模型训练。代码去除注释空行总共61行。
本文代码模型是基于 GPT2 的，当然你也可以基于 LLama 或者 Bert 等模型去实现全新的大语言模型。
代码虽然不是很多，但是如果初次尝试运行的话你也许会遇到很多问题，比如环境搭建。为了避免其他烦恼，我建议用 docker 方式运行代码:
# 下载代码git clone git@github.com:xinzhanguo/hellollm.gitcd hellollm# 编译镜像docker build -t hellollm:beta .# 可以选择以GPU方式运行# docker run -it --gpus all hellollm:beta shdocker run -it hellollm:beta shpython sanguo.py
– END –
报告下载
大佬观点
