1. 起点：把微信聊天记录炼成数据集#

之前就用过一个项目是能把大模型对接微信，而且我发现可以用本地llama接口直接跑大模型。只不过回复很生硬，所以我就想拿数据集微调大模型把他更偏向口吻像人。所以就拿alpha这个开源项目导出了json格式的微信数据集，给ai让他帮我转成llamafactory可读的数据集。

1
{"messages":[{"role":"user","content":"问句"},{"role":"assistant","content":"回答"}]}

2. 事故现场：500 轮之后，模型傻了#

一切始于一句抱怨：“我用 LCCC 训练了 500 轮，回复变得傻傻的。”

第一反应是打开日志，而日志给出的答案和”玄学”完全无关：

• “500 轮”其实是 500 步。按训练配置算，总共需要 11,876 步才够一个 epoch——500 步只跑了 4.2%，模型连一遍数据都没见完。
• eval loss 从 3.820 只降到 3.758。这个降幅约等于没降，证明这批数据里几乎没有可学的有效信号（或者说，以当时的配置，信号没被学到）。
• 学习率 1e-4，且没有 system prompt。对 instruct 基座来说这个 lr 偏冲动，又没有对话格式约束，指令能力被平推冲掉了。

还有个插曲：回收站里那个”导出的 adapter”，经核对其实是另一条 run（高情商 170 条、5 epoch）的产物，跟这次 LCCC run 没关系。日志和产物对不上，是微调翻车现场最常见的一坑。

诊断结论一句话：不是模型笨，是数据没选对、训练没跑够、格式没管住，三件事叠加。

3. 选型：什么数据能”塑造语气”？#

需求很明确：要一个”像女生一样聊天”的模型。语气这种属性，靠的是稠密的示范信号——每一句回复都在告诉模型”这种情况下，她会这么说”。

候选方案里最有吸引力的是某个繁体角色卡数据集（社区里流传较广的 RP 语料），但下载后做了一次内容安全扫描：2,109 张角色卡全部命中成人向关键词，无一例外。直接弃用，并把源文件清掉了。

最终选了一条更稳的路线：

1
你是一个22岁的女生，性格温柔自然，说话亲切俏皮，擅长共情和安慰人。
2
回复像身边的女生朋友一样，简短、口语化。

4. 让 LLaMA-Factory 认识这份数据#

数据做成 jsonl，每条一个 conversations 字段 + 一个 system 字段，注册文件只有一条：

1
{
2
  "girl_persona_mix": {
3
    "file_name": "girl_persona_mix.jsonl",
4
    "formatting": "sharegpt",
5
    "columns": { "messages": "conversations", "system": "system" }
6
  }
7
}

踩过的坑值得单独说：

• sharegpt 格式的硬规则：角色必须奇偶位严格交替（偶数 human、奇数 gpt），SFT 场景 messages 长度必须是偶数。入库前做了一次全量校验，21,717 条零违规。
• columns 映射的键必须每条记录都存在。这个版本里每条都带 system 键（通用样本为空串），少一个 key，转换器直接 KeyError。
• 冒烟测试：注册后随机抽 300 条走完整转换链路，全过；带 system 的比例和人格组占比吻合，说明配比没在转换环节被破坏。

数据分布也对齐了训练参数：长度 p50 为 297 字、p99 为 585 字——这直接决定了 cutoff_len 选 1024（覆盖 99.8% 的样本，再大纯属浪费显存）。

5. 训练参数：每个数字在解决什么问题#

配置走 QLoRA（4bit 量化 + LoRA），目标是在 12GB 显存的卡上把 7B 模型训动。逐组解释：

显存与精度

LoRA 结构

优化策略（这组是全章的教训）

数据与评估：template: qwen 必须和 Qwen2.5 对话格式对齐（错了整个训练白跑）；验证集留 2% 盯过拟合；eval 每 200 步、存档每 500 步。

6. 整理：627MB 的断舍离#

跑通之后工作区惨不忍睹：77MB 的废弃数据集、524MB 的底料源文件、两份副本、十几个草稿脚本。收敛规则只有一条——新数据集文件夹里只留主数据集和注册集：

1
D:\数据集\女生语气混合数据集\
2
├── girl_persona_mix.jsonl    # 21,717 条，25.8MB
3
└── dataset_info.json         # 单条目注册

训练配置的 dataset_dir 同步指向新文件夹，原来的注册表（true_chinesechat）恢复成原始的 lccc + high_eq_cute 两条。共释放约 627MB。

收敛后做了完整回归：注册表从新目录 resolve 成功、转换冒烟 100/100 通过、YAML 384 个键全部解析正确。

7. 复盘：从日志里读出”哪百步最好”#

训练是从 LLaMA-Factory WebUI 启动的（数据 md5 核对过，就是收敛那份）。日志分析有一个清晰的结论——eval loss 全程单调下降，零过拟合：

两个不同问题的答案：

• 哪百步”效果最好”？701–800 段（checkpoint-800，eval_loss 1.9399），而且它既是历史最优也是最终存档。
• 哪百步”学得最多”？101–200 段——训练 loss 从 2.42 骤降 0.447，真正的模式学习发生在这一小段，之后就在 1.96 附近平台震荡做精细打磨。

还有个情况：这次 run 在 803/1290 步（62%）静默停止，日志里没有任何报错（无 Traceback、无 OOM），进程是被手动终止或窗口关闭带走的。考虑到增量已收敛到 -0.001 量级，剩余 490 步收益极小，checkpoint-800 可以直接用，也可以加载它续训。

附注：这次 run 的超参是 WebUI 默认那套（rank 32/alpha 64、只调 q/k/v/o、cutoff 2048），和第 5 节那份 YAML 不完全一样——上面的指标对应 WebUI 配置。想复现”设计值”，跑 YAML 即可。

8. 踩坑清单（全部真实发生）#

1. HuggingFace 直连被墙：换 hf-mirror.com，curl 记得 -L 跟随 302 到 CDN。
2. generated_chat_0.4M 是 JSONL 不是 JSON 数组：按数组写的流式解析器只捞出 62,551 个对象，而字节扫描有 396,002 个 "instruction"——差 5/6。必须逐行 json.loads。解析器的假设要用文件头尾验证，别想当然。
3. get_train_args([yaml路径]) 不加载 YAML：LLaMA-Factory 只在 args=None 且 sys.argv[1] 以 .yaml 结尾时才读配置文件；传列表会被当成普通 argv，YAML 被静默忽略，最后报一句极具误导性的 Please provide model_name_or_path。验证配置必须模拟 CLI：设 sys.argv 再调。
4. 验证环境要用对 Python：LLaMA-Factory 相关验证一律用训练环境那个 Python（transformers 4.57.1 + torch + CUDA），受管的干净环境连 numpy 都没有。
5. shell 里的反引号是命令替换：一次把含代码的说明文字直接写进 shell 命令，反引号内的 llamafactory-cli train ... 被真实执行了一遍（在沙箱里跑到预处理阶段失败，无文件损害）。教训：含反引号/代码的文本，先落成脚本文件再执行。
6. Windows 控制台是 GBK：tasklist 输出用 utf-8 解会崩，要 decode('gbk')。

9. 结语#

回头看，从微信聊天记录到 29,037 条数字分身数据，再到那次”变傻”事故和 21,717 条语气数据，最有价值的产出不是任何一个模型，而是一套可复用的方法论：

• 数据工程先于训练调参：提取、注册、清洗、校验，每一步都有明确规则和记账（丢了多少、为什么丢），训练只是最后一环。
• 语气类微调，配方比数量重要：少量高密度人格样本（7.9%）+ 大量通用压舱石 + system prompt 开关，三者缺一不可。
• 参数为数据服务：cutoff 照着 p99 定、epoch 照着人格样本量定、lr 照着基座类型定——每个数字都应该能回答”为什么不改成别的”。
• 日志是唯一的事实来源：最优 checkpoint、停止原因、配置差异，全在日志里，别靠感觉。

模型接下来还有迭代空间（剩余 490 步、或者换回设计值超参重训），但数据工程这一层——提取、配方、注册、验证、收敛——已经是可以复用的资产了。