AI 研发深潜AI DEV DEEP DIVE

• 若 q、k 的分量方差约为 1，点积方差随 dₖ 增长；除以 √dₖ 让 logits 保持可训练尺度，避免 softmax 过早饱和。
• mask M 应在 softmax 前加到 logits；padding mask 与 causal mask 解决的是两种不同的不可见性。
• 多头并不是复制同一注意力，而是让不同投影子空间独立形成匹配与聚合，再经 Wᵒ 混合。

调试时先打印 [batch, heads, seq, head_dim]，再检查 mask 广播；多数“注意力不收敛”先是形状或 mask 错。

只会背公式，却解释不了缩放项、mask 时机和输出形状。

• 前向保存必要中间量，反向按拓扑逆序应用局部导数；分支汇合处梯度相加。
• 梯度检查使用中心差分 [f(x+ε)-f(x-ε)]/(2ε)，但 ε 太大有截断误差，太小有浮点误差。
• 混合精度下要区分参数精度、计算精度和梯度缩放，NaN 不一定来自数据。

监控 gradient norm、activation statistics 与 loss scale，比只盯 loss 更早发现训练失稳。

把 requires_grad=True 当作理解 autograd，却无法解释 detach、in-place 和梯度累积。

• 比较 tokenizer 不能只看词表大小，要测目标语料的平均 token/字符、未知片段和边界一致性。
• 新增 token 后必须同步 resize embedding；chat template 错一个角色标记，也会造成训练–推理分布偏移。
• 截断位置、padding 方向和 label mask 会直接改变监督信号。

为数据流水线保存 token 长度分布、截断率、特殊 token 命中率和 decode round-trip 样例。

数据清洗只看字符串，不看 token 化后的真实长度和被截断的答案。

• Prompt：零训练成本、迭代快，但上下文成本和稳定性受限。
• RAG：更新知识而不改权重，但依赖检索质量、切分和引用评测。
• PEFT：少量可训练参数适合行为和领域适配；全参微调只在数据、预算和收益证据充分时考虑。

先建立不微调的 baseline；如果没有基线，就无法证明训练带来的增益值得复杂度。

看到效果不好就上 LoRA，却没有区分知识缺失、检索失败、提示不清和能力不足。

• rank r 控制容量，不是越大越好；alpha 决定更新缩放，dropout 是正则化而非必选仪式。
• target_modules 决定更新落在哪里；只改 q/v 与覆盖所有线性层的能力和成本不同。
• QLoRA 的基座权重被量化以省显存，但 adapter 的训练精度、反量化计算和优化器状态仍需单独核算。

报告 trainable params、峰值显存、tokens/s、加载/合并方式与最终服务延迟，不只报告 eval score。

只写 r=8 就声称高效，没有给出参数量、显存和效果的对照。

• 先做 exact/near duplicate，再按用户、文档或语义组切分，避免同源内容跨 train/test。
• 对指令数据统计角色缺失、空答案、拒答比例、长度分布和模板一致性。
• 黄金评测集必须冻结；调参过程中反复查看测试集会把测试集变成训练信号。

为每次运行记录 dataset revision/hash；清洗脚本、原始数据和派生数据要有可追踪血缘。

随机逐行切分高度相似数据，得到漂亮但虚假的验证分数。

• 优化：train/eval loss、learning rate、gradient norm、样本级错误。
• 系统：tokens/s、step time、GPU utilization、allocated/reserved memory、data wait。
• 谱系：代码提交、依赖锁、数据版本、基座模型 revision、checkpoint 和评测配置。

异常时先用时间线关联 loss spike、学习率、数据 batch 和显存，而不是凭感觉修改三个超参。

实验名字叫 test-final-v2，无法回答哪次运行使用了哪个数据和权重。

• 2 代表 K 与 V；GQA/MQA 通过减少 Hₖᵥ 显著压缩缓存，而不只是改注意力名称。
• prefill 关注 TTFT 和大矩阵吞吐，decode 关注 TPOT、内存带宽和批处理调度。
• PagedAttention 解决变长请求的内存碎片与共享问题；量化缓存则用精度换容量。

容量规划先算单请求理论 KV，再叠加权重、激活、运行时预留和碎片，不能只看模型文件大小。

把上下文窗口设大后才发现并发骤降，或用平均长度掩盖 P99 长请求。

• capacity factor 决定每个专家可接收 token 上限；过低会丢 token，过高会浪费显存和计算。
• 负载均衡辅助损失防止 router 坍塌，但也可能与主任务目标产生张力。
• 跨卡 expert parallel 需要 All-to-All；专家利用率均衡不等于端到端吞吐就高。

至少监控每专家 token 数、丢弃率、router entropy、通信占比和最慢专家时间。

只比较激活参数量，忽略专家权重常驻显存和跨设备通信。

• Claim：作者声称机制 A 在约束 C 下改善指标 M；复现必须保留 C，并明确 M 的测量协议。
• Baseline first：先重现基线，否则新机制的差异没有可信参照。
• 记录负结果、环境偏差和缩放限制；有限算力下的轻量复现不应伪装成完整复现。

锁定 seed、commit、依赖、数据 hash、硬件、精度、warmup 和评测脚本，并保存原始日志。

只跑通作者 demo 就宣布复现成功，既没有基线，也没有独立指标。