Transformer / Llama 预训练与微调实验

背景与问题

想真正理解大模型的训练与微调，而不是只调用 API。需要一个可控的实验环境，把数据、训练、评估串起来，并能对比不同超参的影响。

约束

• 算力有限，实验规模需要控制在单卡可完成的范围内。
• 训练时间长，实验必须可中断、可复现。
• 评估不能只看 loss，需要任务层面的指标。

方案与架构

实验分为数据准备、训练/微调、评估三段：数据统一为指令或对话格式，训练脚本支持配置化超参，评估同时记录自动指标与人工抽查结果。

关键决策

• 小规模先跑通：先用小模型与小数据验证流程，再放大。
• 配置外置：超参与路径写入配置文件，脚本不硬编码。
• RAG 作为对照：在微调之外了解检索增强路线，比较两种方案的适用场景。

结果与度量

完成预训练与微调实验，形成可复现的训练与评估脚本，记录不同超参下的效果差异，为后续大模型应用打基础。

技术细节

• 围绕 Transformer/Llama 的预训练与微调流程做实验管理。
• 对比学习率、批次与训练步数等超参下的评估结果。
• 梳理 RAG 的检索、上下文拼接与生成链路。

反思

大模型实验最容易忽略的是评估。如果重做，会先设计评估集与人工评分标准，再开始训练。

展示边界与技术安全

本页是静态案例展示，不运行项目代码，也不接收上传、登录或用户数据。指标来自项目记录与本地实验，复现细节以源码或报告为准。 查看站点安全模型 →