Lila 一手证据

面试录音转写确认：

• “one or more hiring manager interviews”；
• 三场技术面，总计约三小时；
• code comprehension、without-AI code writing、ML case study；
• PyTorch from scratch 和 basic machine learning concepts；
• protein design 或 protein-design-adjacent，另加基础 ML；
• “super small, half an hour, nothing super complicated”；
• 提前 repository，加现场 unseen PR；
• 技术面后还有 conversational one-on-ones；
• 最后一阶段有约一小时 research talk，但建议准备能压到约 40 分钟，因为会有很多问题；
• talk 之外还有多场约 30 分钟 one-on-one；
• 各阶段都是 gating。

证据是 Jingyi 与 Lila ML Scientist 的 Hiring Manager 面试录音转写，重点时间段为 0:25:12–0:31:15。录音不公开；网页只保留与面试准备有关的流程事实。

官方职位说明进一步确认，该岗位要：

• 构建覆盖生物序列、分子结构和多模态实验数据的生成模型；
• 完成 problem formulation、model design、training、evaluation；
• 把生物问题翻译成 ML 问题；
• 与 wet-lab scientists 和 computational biologists 合作；
• 参与 Lab-in-the-Loop 数据生成和反馈；
• 独立拥有 research sub-problem；
• 熟练使用 PyTorch、JAX 或 TensorFlow；
• 蛋白设计是 bonus，而不是唯一基本门槛。

最强的近邻证据

• BigHat 的 ML Scientist 面经把 diffusion 或 Transformer 这样的基础 ML 支柱放进抗体设计 case。BigHat
• Latent Labs 的蛋白岗位出现 protein diffusion take-home、position embedding 和“一百万个蛋白设计如何产生与筛选”。Latent Labs
• 10x Genomics 的 Computational Biologist 先做 toy dataset interactive coding 和生物数据解释，再进入 full-day、1 小时 talk 和 1:1。10x Genomics
• Tempus AI 的 MLE 候选人经历了 dataset/model take-home、Docker、HM、三小时 onsite，并讨论 coding style、项目和 metrics。Tempus AI
• Deliveroo 官方 MLE 流程要求 production-style code、peer review、ML fundamentals、问题定义、评估和 productionization。Deliveroo
• Slack 的候选人明确遇到 PR code review，要发现 code smell 和 bad practice，同时考如何沟通建议。Slack
• Snyk 的候选人先 review dependency-tree PR，再与两位工程师讨论，选择最重要问题修复，并回答怎样推进到 production。Snyk
• Jacob Kaplan-Moss 的面试官方法文把 reverse code review 的主要信号定义为 comprehension、communication、问题严重性和协作语气。Reverse code review
• Chip Huyen 将 buggy ML program debugging 描述为测试 code comprehension、面对他人代码的反应和 debugging 能力。ML interview formats
• GitHub 官方 take-home 使用真实 repository、PR、automated tests、rubric 和统一 scorecard。GitHub

局限

• Glassdoor、Taro 等面经是匿名候选人自述，不能视为公司承诺。
• 相似公司在职位级别、团队和年份上不同。
• 同一公司不同团队可以有完全不同的 loop。
• 公开记录更容易留下特别好或特别差的体验，存在选择偏差。
• 预测题库和 SEO 页面只能作为低置信度线索，不进入“真实出现频率”统计。
• 下面的 rubric 是多个来源的综合，不是 Lila 官方评分表。

已确认和已观察

Lila 官方申请表直接询问：是否需要签证支持、是否居住在美国大陆、是否能在指定地点工作或愿意搬迁，以及“Why Lila, why this role, and why at this moment in your life?”。Lila 官方职位

Lila 的录音没有逐项披露 recruiter screen 内容，但 HM 在对话中询问了其他面试、时间线、可入职日期和 OPT。Deliveroo 官方 MLE screen 为 20–30 分钟，主要讨论 career 和 motivation；GSK、Calico、Truecaller、Moniepoint 的流程也普遍把 recruiter 放在 HM 或技术环节之前。

准备清单

必须准备一版 60–90 秒回答：

1. 我是谁：AI for Science 的连续主线是什么。
2. 我做过什么：一个最能证明建模、数据和科研判断的项目。
3. 为什么 Lila：不是泛泛说“AI + biology 很酷”，而是对应 Lab-in-the-Loop、generative models、scientific verification 或 sequence/structure/multimodal。
4. 为什么现在：毕业、研究方向和下一阶段能力建设之间的逻辑。
5. 为什么这个 level：能独立拥有怎样的 research sub-problem，同时哪些方面仍希望成长。

还要能够简明回答：

• OPT/EAD 当前状态、最早入职日和潜在 sponsorship；
• 是否愿意去 San Francisco；
• 其他面试流程和 deadline；
• 期望的工作类型，而不是先报一个抽象 title；
• 薪资问题若出现，先结合官方范围和总体 package，不仓促锁死单点数字。

常见失败

• 把所有时间用来复述简历。
• “Why Lila”只重复官网口号。
• 对签证和时间线含糊，导致 recruiter 无法规划。
• 说自己什么都愿意做，却无法说明岗位与未来方向的匹配。
• 讲很多模型名，却没有一句可验证的成果。

Lila 已确认的风格

Lila 说明会有一次或多次 HM interview。本次 HM 并没有做百科式问答，而是从 Jingyi 的 RNA 项目持续追问：

• RNA motif 是什么，额外结构从哪里来；
• cropping 为什么有用，除了显存限制外是否仍有统计价值；
• motif 已包含在 full structure 中，重复加入是否只是改变权重；
• 如果 RAM 足够，是否仍保留 motif；
• 结果相对已有方法改善多少；
• PDB 本身有 clash，模型为何没有学会 clash；
• conditional generation 具体怎样降低 clash；
• guidance 为什么没有改善；
• 当前解释是结果、假设，还是尚待验证的猜想。

这段真实追问说明 HM 观察的是研究判断，而不是模型名词数量。

每个主项目必须准备的十个答案

1. Problem：问题是什么，为什么值得解决。
2. Data：来源、规模、质量、缺失、噪声和许可。
3. Split：如何避免同源、同一结构派生样本或实验批次泄漏。
4. Baseline：最简单 baseline 和当前最好 baseline。
5. Model：为什么选这个模型，而不是更简单方案。
6. Objective：loss 与真正科学目标的差异。
7. Evaluation：metric、error bars、重复实验和 failure slices。
8. Contribution：自己具体做了什么，合作者做了什么。
9. Failure：一个没有成功的实验，以及从中改变了什么。
10. Next experiment：如果再给两周或两倍资源，怎样最快证伪关键假设。

固定追问模板

对任何回答都继续问五层：

你观察到了什么？
      → 还有什么替代解释？
      → 哪个实验能区分它们？
      → 失败时你会看到什么？
      → wet-lab 或外部 verifier 怎样闭环？
      

Jingyi 当前项目的专项准备

针对 HM 已经问过的 RNA motif、clash 和 diffusion：

• 准备一张 full structure 与 motif sampling 的数据分布图。
• 明确 motif 重复采样等价于怎样的隐式 weighting。
• 区分“改善显存”和“改善学习信号”两种假设。
• 给出严格的 structure-level split，避免同一母体结构的 motif 跨 split。
• 定义 clash score、几何质量、结构相似性和任务相关 metric。
• 解释无 guidance 改善的可能原因，但每个原因都标为 hypothesis。
• 为 guidance failure 设计最小 ablation。
• 准备一句诚实边界：“目前结果支持 X，但还不能证明 Y；区分它们需要 Z。”

Case A：一百万个蛋白设计中选 96 个实验

近邻来源：Latent Labs 候选人真实遇到“一百万个 protein designs”问题。练习时应覆盖 validity、novelty、diversity、predicted function、uncertainty、manufacturability 和实验 batch 设计。

Case B：少量有标签 assay 加大量无标签序列

练习 semi-supervised/pretraining、retrieval baseline、active learning、calibration、OOD 和 cluster split。先提出简单 baseline，再讨论 foundation model。

Case C：结构生成模型离线 metric 改善，wet-lab 不改善

区分 metric misalignment、data shift、simulation bias、synthesis failure、assay noise 和 selection bias。给出最省实验的诊断矩阵。

这些 case 是练习变体，不是 Lila 原题。

第 0–3 分钟：理解 intent

• 读 title、description、changed files 和 tests。
• 用一句话说 PR 想改变什么行为。
• 问清楚 success criteria 和兼容性要求。

第 3–8 分钟：建立影响图

• changed function 的 callers 和 callees；
• input/output contract；
• training、validation、inference 哪些路径受影响；
• checkpoint、config、data format 是否变化。

第 8–22 分钟：先找 correctness

按顺序检查：

1. shape、broadcast、index；
2. mask、padding、missing data；
3. gradient、train/eval；
4. loss、metric、reduction；
5. device、dtype、numerical stability；
6. split、leakage、scientific invariant；
7. edge cases；
8. performance 和 maintainability。

第 22–30 分钟：最小反例和测试

每个重要评论都附：

• 触发输入；
• 当前行为；
• 期望行为；
• 最小 test；
• 修复方向。

第 30–38 分钟：排序和口头 review

先说 blocker，再说 high，最后才是 non-blocking suggestion。不要把五个 naming 意见放在一个 silent scientific bug 前面。

第 38–45 分钟：follow-up

准备回答：

• 为什么这是 bug，而不是 preference？
• 哪条测试会失败？
• 最小安全 patch？
• 是否有 backward compatibility？
• 怎样 rollout、monitor 和 rollback？

自动失败风险

• 基本误解主执行路径；
• 对关键代码作出自信但错误的解释；
• 完全没有发现显著 correctness 问题；
• 找到 bug 但不能说明触发条件和后果；
• 只谈 style，不谈行为；
• 批评作者而不是代码；
• 编造没有读到的实现细节。

背景

一个 residue-level regression 模型输出每个位置的标量质量分数。PR 为了“统一 shape”给 target 增加了一维。

伪 diff

 def masked_mse(pred, target, mask):
      -    error = (pred - target) ** 2
      -    return error[mask].mean()
      +    target = target.unsqueeze(-1)
      +    error = (pred - target) ** 2
      +    return (error * mask).sum() / mask.sum()

已知 pred.shape == [B, L]，target.shape == [B, L]，mask.shape == [B, L]。

应发现的问题

target.unsqueeze(-1) 变成 [B, L, 1]，与 [B, L] 广播后可能得到 [B, L, L]，把不同 residue 互相比较。代码可以运行，所以比 crash 更危险。若 mask 是 bool，乘法的广播也会隐藏问题。

Blocker 排序

1. P0：错误 broadcasting 改变 loss 的数学定义。
2. P1：分母没有与最终 error shape 对齐。
3. P2：缺少显式 shape assertion。

参考 review

Blocker: target.unsqueeze(-1) changes the subtraction from elementwise [B, L] to a broadcasted pairwise result. This silently trains a different objective. Please keep both tensors [B, L], assert equal shapes, mask valid elements, and reduce only those values.

测试建议

• B=1, L=2，手算 prediction 和 target，断言精确 loss。
• 两个位置交换 target 后，验证 loss 按 elementwise 定义变化。
• all-padding 输入应明确 raise，而不是除零。
• property test：增加 padded positions 不改变 loss。

追问

• 为什么 PyTorch 没有报错？
• 怎样在公共 loss helper 中系统防止 broadcasting？
• 若输出本来是 [B, L, 1]，最清晰的 contract 应是什么？

背景

一个 protein language model PR 增加 token accuracy。

伪 diff

 logits = model(tokens[:, :-1])             # [B, L-1, V]
       targets = tokens[:, 1:]                    # [B, L-1]
      +probs = logits.softmax(dim=-1)
      +loss = F.cross_entropy(
      +    probs.reshape(-1, vocab_size),
      +    targets.reshape(-1),
      +)
      +accuracy = (probs.argmax(-1) == targets).float().mean()

应发现的问题

• cross_entropy 期望 logits；先 softmax 会改变 gradient 和数值稳定性。
• padding token 没有被 ignore_index 或 mask 排除。
• accuracy 把 padding 当作真实 target。
• 若不同序列 padding 长度不同，指标系统偏移。

Blocker 排序

1. P0：padding 进入训练目标，模型被奖励预测 padding。
2. P1：double softmax 破坏预期 loss。
3. P1：accuracy denominator 错误。
4. P2：没有报告 per-sequence 或长度分层指标。

参考 review

Blocker: The current objective includes padded targets, so batch composition changes both the loss and accuracy. Pass raw logits to cross_entropy with ignore_index=pad_id, and compute accuracy over the same valid-token mask.

测试建议

• 同一条序列 pad 到 8 和 pad 到 16，loss 与 accuracy 必须相同。
• 全部非 padding 的小样本与手算 CE 一致。
• one-token sequence、全 padding batch 和 unknown token。
• 检查 raw logits 极大时仍为 finite。

追问

• label smoothing 与 ignore_index 怎样交互？
• token accuracy 是否足以评价生成蛋白？
• macro sequence accuracy 与 micro token accuracy 有何不同？

背景

PR 抽出统一的 run_epoch，减少训练和验证重复代码。

伪 diff

 def run_epoch(model, loader, optimizer=None):
           is_train = optimizer is not None
      -    model.train() if is_train else model.eval()
      +    model.train()
           losses = []
           for batch in loader:
               output = model(batch["x"])
               loss = criterion(output, batch["y"])
               if is_train:
                   loss.backward()
                   optimizer.step()
                   optimizer.zero_grad()
               losses.append(loss)
           return torch.stack(losses).mean()

应发现的问题

• validation 仍开启 dropout，并更新 BatchNorm statistics。
• validation 未使用 no_grad()，保留 graph，浪费显存。
• 把带 graph 的 loss 放进 list，训练时可能保留整个 epoch graph。
• optimizer 顺序可工作，但更安全的模式是在 forward 前清零。

Blocker 排序

1. P0：validation 改变模型状态，metric 不可信。
2. P1：validation 建 graph，显存风险。
3. P1：保存 graph-connected losses。
4. P2：zero_grad(set_to_none=True) 的效率建议。

参考 review

Blocker: Validation calls model.train(), so dropout remains stochastic and BatchNorm updates on validation data. That both corrupts the evaluation and leaks validation distribution into model state. Set mode from is_train and wrap evaluation in torch.no_grad().

测试建议

• 固定输入连续两次 validation，dropout 模型输出应一致。
• validation 前后 BatchNorm running stats 不变。
• validation 后所有 parameter gradients 仍为 None。
• 长 validation loader 的显存不随 batch 单调增长。

追问

• torch.no_grad() 与 torch.inference_mode() 的区别？
• 有 MC dropout 时怎样有意保持 stochastic evaluation？
• 为什么仅检查 loss 数值可能发现不了这个 bug？

背景

PR 把不同尺度的 residue projection 放到列表中，并缓存 positional frequencies。

伪 diff

 class Encoder(nn.Module):
           def __init__(self, dims):
               super().__init__()
      -        self.layers = nn.ModuleList(...)
      +        self.layers = [nn.Linear(dims[i], dims[i + 1])
      +                       for i in range(len(dims) - 1)]
      +        self.freqs = torch.arange(128).float()
      
           def forward(self, x):
               for layer in self.layers:
                   x = F.relu(layer(x))
               return x + positional_term(self.freqs, x)

应发现的问题

• 普通 list 中的 layers 不注册为 submodules，不进入 parameters()、state dict 或 .to(device)。
• freqs 不是 parameter，但应 register_buffer，否则 device 和 checkpoint 行为不一致。
• CPU smoke test 可能通过，GPU 才失败。

Blocker 排序

1. P0：核心 layers 不会被 optimizer 更新。
2. P1：GPU device mismatch。
3. P1：checkpoint 丢失 layers 和 buffer。

参考 review

Blocker: Storing nn.Linear objects in a plain list prevents PyTorch from registering them. They will not be optimized, moved with the model, or serialized. Use nn.ModuleList; register freqs as a non-persistent or persistent buffer according to checkpoint needs.

测试建议

• 断言 expected parameter count。
• 一步 optimizer 后每层 weight 都变化。
• state dict round-trip 输出一致。
• CUDA 时所有 parameters/buffers 与 input 同 device。

追问

• 何时用 ParameterList、ModuleList 和 buffer？
• buffer 是否一定要写入 checkpoint？
• 怎样检测“loss 下降但部分层从未训练”？

背景

PR 实现 protein sequence self-attention，并接受 valid_mask，其中 True 表示真实 residue。

伪 diff

 scores = q @ k.transpose(-2, -1)
      -scores = scores / math.sqrt(q.size(-1))
      -scores = scores.masked_fill(~valid_mask[:, None, None, :], -torch.inf)
      +scores = scores / math.sqrt(model_dim)
      +scores = scores.masked_fill(valid_mask[:, None, None, :], -1e9)
       attn = scores.softmax(dim=-1)
       out = attn @ v

应发现的问题

• scale 应基于 head dimension，而不是整个 model dimension。
• mask polarity 反转，真实 residue 被屏蔽，padding 被关注。
• 某一 query 的所有 key 都被 mask 时，softmax 可能产生 NaN 或无意义均匀分布。
• query-side padding 的输出也应明确处理。

Blocker 排序

1. P0：mask polarity 反转。
2. P1：all-masked row 的数值行为。
3. P1：scale 错误改变 attention distribution。
4. P2：query padding 输出未清零。

参考 review

Blocker: valid_mask=True denotes real residues, but the new line masks those positions and leaves padding visible. Invert the mask at the key axis and add an explicit all-padding policy so softmax cannot produce invalid rows.

测试建议

• 一个真实 token 加三个 pad，注意力只能落在真实 token。
• 增加任意 pad 不改变真实位置输出。
• 多 head 与手算单 head 对比。
• all-padding input 明确 raise 或返回约定值。
• mixed precision 下无 NaN。

追问

• causal mask 与 padding mask 如何组合？
• -inf 和大负数在 fp16 下的权衡？
• 为什么只测试固定长度序列会漏掉问题？

背景

一个 protein VAE PR 重构 latent sampling 和总 loss。

伪 diff

 def reparameterize(mu, logvar):
           eps = torch.randn_like(mu)
      -    std = torch.exp(0.5 * logvar)
      +    std = torch.exp(logvar)
           return mu + eps * std
      
       recon = F.cross_entropy(logits.transpose(1, 2), tokens, reduction="mean")
      -kl = -0.5 * (1 + logvar - mu.pow(2) - logvar.exp()).sum(-1).mean()
      +kl = 0.5 * (1 + logvar - mu.pow(2) - logvar.exp()).mean()
       loss = recon + beta * kl

应发现的问题

• logvar 是 log variance，标准差需要 exp(0.5 * logvar)。
• KL 符号反了，优化会鼓励增大 divergence 或让总 loss 异常。
• KL reduction 从 latent-sum/batch-mean 变成全元素 mean，beta 的含义改变。
• reconstruction 没忽略 padding。

Blocker 排序

1. P0：KL 符号错误。
2. P0：reparameterization variance 错误。
3. P1：padding 进入 reconstruction。
4. P1：reduction 改变 beta 语义和旧 checkpoint comparability。

参考 review

Blocker: The new KL expression is the negative of the usual non-negative divergence. Combined with exp(logvar) as the standard deviation, this optimizes a different and unstable objective. Restore exp(0.5 * logvar), the negative sign, and document reductions before retuning beta.

测试建议

• mu=0, logvar=0 时 KL 精确为 0。
• 采样很多次，经验 variance 接近 exp(logvar)。
• padding 长度改变不影响 reconstruction。
• KL 对随机输入非负且 finite。
• deterministic inference 使用 mu，输出可复现。

追问

• beta-VAE 中 beta 的比较为何依赖 reduction？
• posterior collapse 怎样检测？
• 训练时 sample、评估时 sample 和使用 mu 各适合什么目的？

背景

一个 coordinate diffusion 模型训练预测噪声。PR 为了“减少一次模型调用”重写 reverse step。

伪 diff

 def training_loss(model, x0, t):
           noise = torch.randn_like(x0)
           xt = q_sample(x0, t, noise)
           pred = model(xt, t)
           return F.mse_loss(pred, noise)
      
       def p_sample(model, xt, t):
      -    eps = model(xt, t)
      -    x0_hat = predict_x0_from_eps(xt, t, eps)
      +    x0_hat = model(xt, t)
           return posterior_mean(x0_hat, xt, t)

应发现的问题

训练目标明确把模型输出定义为 epsilon，但 sampling 把相同输出当成 x0_hat。shape 完全相同，代码可能运行并生成看似合理的坐标，因此属于静默的语义错误。还要检查 timestep t=0 的方差和 indexing。

Blocker 排序

1. P0：prediction parameterization 在训练和采样之间不一致。
2. P1：t=0 是否仍注入噪声。
3. P1：checkpoint/config 中没有保存 parameterization 类型。
4. P2：函数和变量名不足以表达 contract。

参考 review

Blocker: The model is optimized to predict epsilon, but p_sample now interprets its output as x0. Because both tensors have the same shape, this will not fail loudly; it changes the reverse process. Convert epsilon to x0 before constructing the posterior, or change the training target and version the checkpoint/config contract.

测试建议

• 使用 oracle noise predictor，单步重构的 x0_hat 应等于已知 x0。
• t=0 的输出行为手算验证。
• epsilon、x0 和 v-parameterization 各自有独立 contract test。
• checkpoint 加载时 parameterization 不匹配应失败。
• 固定 seed 的短 sampling smoke test 无 NaN。

追问

• epsilon、x0 和 v prediction 的权衡？
• 为什么肉眼看 sample 不能替代这个 unit test？
• 如何迁移旧 checkpoint？

背景

PR 把 noise schedule 预先缓存以提升速度。

伪 diff

 class Diffuser(nn.Module):
           def __init__(self, steps):
               super().__init__()
      -        self.register_buffer("alpha_bar", make_schedule(steps))
      +        self.alpha_bar = make_schedule(steps + 1)
      
           def q_sample(self, x0, t, noise):
      -        a = self.alpha_bar[t].view(-1, 1, 1)
      +        a = self.alpha_bar[t + 1].view(-1, 1, 1)
               return a.sqrt() * x0 + (1 - a).sqrt() * noise

应发现的问题

• tensor 没注册 buffer，模型转 GPU 时仍留在 CPU。
• PR 同时改变 schedule 长度和 indexing，没有证明新旧定义等价。
• 最大 timestep 可能越界，或者训练与 sampling 相差一步。
• schedule dtype 可能在 AMP 下隐式提升或降低精度。

Blocker 排序

1. P0：GPU 路径 device mismatch，常规训练直接失败。
2. P0/P1：timestep 定义改变，取决于 sampling 是否同步更新。
3. P1：最大 timestep 和 checkpoint 兼容性。
4. P2：dtype 和注释。

参考 review

Blocker: alpha_bar is no longer a registered buffer, so .to(device) will not move it with the model. The added t+1 also changes the schedule contract without corresponding sampling changes. Please keep the schedule as a buffer and define whether valid timesteps are [0, T-1] or [1, T] in one shared helper.

测试建议

• CPU 与 CUDA 的 q_sample 在同 seed 下数值接近。
• 最小和最大 timestep 不越界。
• t=0 的 signal/noise 比符合 schedule 定义。
• training 和 sampling 使用同一 indexing helper。
• state dict round-trip 保留 schedule 或能确定性重建。

追问

• buffer 应 persistent 还是 non-persistent？
• schedule 更改怎样影响旧 checkpoint 的可复现性？
• 哪些 schedule 运算在 fp32 中更安全？

背景

结构模型训练坐标以 Å 为单位。PR 接入一个以 nm 返回坐标的新数据源，并增加数据增强。

伪 diff

 def featurize(record):
           coords = torch.tensor(record["coords"])
      +    if record["source"] == "simulation":
      +        coords = coords / 10.0
           coords = coords - coords.mean(dim=0)
      +    coords[:, 0] += torch.randn(()) * 0.5
           return coords

应发现的问题

• 若 simulation 数据本来是 nm，转为 Å 应乘 10，而不是除 10；必须先确认 contract，不能凭变量名猜。
• 只扰动 x 轴不是 rotation-invariant 的 isotropic augmentation。
• 缺失 atom 若以零坐标填充，会污染中心化均值。
• 训练 target、邻接阈值和 metric 是否使用同一单位未说明。

Blocker 排序

1. P0：单位转换方向可能错误，改变全部几何尺度。先查数据 contract。
2. P0/P1：missing coordinate 若参与 centering，会系统偏置结构。
3. P1：方向性 augmentation 破坏预期 symmetry。
4. P1：distance cutoff 和 metric 的单位兼容。

参考 review

Blocker pending clarification: The PR changes simulation coordinates by 1/10, but the source contract says simulations are stored in nm while the model expects Å. If that contract is correct, the conversion should be *10. Please add an explicit unit field/assertion and a distance-based regression test rather than relying on source names.

注意“pending clarification”：不确定时先问，不把猜测写成事实。

测试建议

• 已知 0.1 nm 的两点转换后距离应为 1 Å。
• 随机 rotation 前后 scalar prediction 一致。
• equivariant vector output 按相同 rotation 变化。
• missing atoms 不参与 centroid。
• Å 与 nm 两个等价 record 的 features 一致。

追问

• invariance 和 equivariance 分别怎样 property-test？
• centering 是否足以获得 translation invariance？
• chirality 是否会被 reflection augmentation 破坏？

背景

PR 把昂贵的 cluster split 改成随机行 split，以便“每次训练更快”。每条 full structure 会产生多个 motif records。

伪 diff

-train_ids, val_ids, test_ids = split_by_sequence_cluster(records, threshold=0.3)
      +rng.shuffle(records)
      +n = len(records)
      +train = records[: int(0.8 * n)]
      +val = records[int(0.8 * n): int(0.9 * n)]
      +test = records[int(0.9 * n):]

应发现的问题

• 高同源序列跨 split，评价变成记忆相似家族。
• 同一母体结构裁出的 motif 也可能跨 split，形成直接派生泄漏。
• 随机 seed 和 record order 会使结果不可复现。
• 加快 preprocessing 不能证明科学评价仍有效。

Blocker 排序

1. P0：同源和母体结构泄漏，使 validation/test 结论无效。
2. P1：未固定 seed 和未保存 split artifact。
3. P1：旧实验与新实验不可比较。
4. P2：性能优化应缓存 cluster，而不是删除它。

参考 review

Blocker: A row-level random split allows both homologous sequences and motifs from the same parent structure into different partitions. That directly inflates generalization estimates. Keep grouping at the parent-structure level, then apply the sequence-cluster constraint; cache the resulting split if clustering time is the concern.

测试建议

• 任意 parent structure 只出现在一个 split。
• split 间最大 sequence identity 不超过阈值。
• split artifact hash 被记录并可重载。
• 输入 record 顺序改变不改变 grouping 结果。
• 比较 random 与 cluster split 的 metric gap，作为 leakage audit 而非主结果。

追问

• protein sequence、structure、scaffold、target 和 time split 各回答什么问题？
• cluster threshold 怎样选择？
• 数据很少时怎样权衡无泄漏与统计方差？

背景

PR 新增结构生成质量 metric，报告生成样本与 reference 的平均 RMSD。

伪 diff

 def mean_rmsd(samples, reference):
           values = []
           for sample in samples:
      +        filled = torch.nan_to_num(sample.coords, nan=0.0)
      +        values.append(rmsd(filled, reference.coords))
      +    return torch.stack(values).mean()

应发现的问题

• missing atom 变成原点，会制造巨大且无物理意义的距离。
• 未对齐 rotation/translation 时 RMSD 不可比。
• 重复生成相同 sample 可以保持平均 RMSD 很好，却没有 diversity。
• 不同长度、蛋白和家族按 sample micro-average，可能由高频组支配。
• 单一 reference 不能覆盖多构象。

Blocker 排序

1. P0：missing 坐标的处理使 metric 无效。
2. P0/P1：若没有几何对齐，RMSD 不能解释。
3. P1：重复样本和 aggregation 使总体结果误导。
4. P1：没有 validity/diversity/novelty 补充 metric。

参考 review

Blocker: Replacing missing coordinates with the origin turns missingness into geometry and can dominate RMSD. Compute over the intersection of valid atoms with a minimum-coverage rule, align structures under the intended symmetry, and report coverage alongside RMSD.

测试建议

• 同一结构做刚体旋转和平移后 RMSD 为约 0。
• 一个 missing atom 不应等价于坐标原点。
• 重复同一样本时 diversity metric 显示 collapse。
• macro per-target 与 micro per-sample 都报告。
• symmetric atoms 或等价排列有明确处理。

追问

• Kabsch alignment 解决什么，不解决什么？
• 生成模型为什么需要 validity、quality、diversity、novelty 多维评价？
• model score 与 wet-lab success 怎样校准？

背景

显存不足，PR 增加四步 gradient accumulation 和 resume training。

伪 diff

 for step, batch in enumerate(loader):
           loss = model.loss(batch)
      -    loss.backward()
      -    optimizer.step()
      -    optimizer.zero_grad()
      +    loss.backward()
      +    if step % accumulation_steps == 0:
      +        optimizer.step()
      +        scheduler.step()
      +        optimizer.zero_grad()
      
       def save(path):
      -    torch.save({"model": model.state_dict(),
      -                "optimizer": optimizer.state_dict(),
      -                "scheduler": scheduler.state_dict()}, path)
      +    torch.save(model.state_dict(), path)

应发现的问题

• loss 未除以 accumulation steps，effective gradient 放大四倍。
• step % k == 0 在 step 0 就更新，只累积一个 batch；通常应检查 (step + 1) % k。
• epoch 末不足 k 个 batch 的余数 gradient 可能丢失。
• scheduler 的期望单位要确认，是 optimizer update、batch 还是 epoch。
• checkpoint 只存 model，无法真实 resume optimizer moments、scheduler、AMP scaler、epoch 和 RNG。

Blocker 排序

1. P0：第一步和后续 accumulation 语义错误，训练行为改变。
2. P1：余数 batch 丢失。
3. P1：resume 不是真正 resume。
4. P1：scheduler step contract 未定义。

参考 review

Blocker: This updates on step zero and does not normalize the accumulated loss, so it neither matches a four-batch effective batch nor the previous learning-rate assumptions. Scale the loss, update on (step + 1) % k, flush the final partial group, and define scheduler steps in optimizer-update units.

测试建议

• 固定数据下，四个 micro-batches 与一个等价大 batch 的 parameter update 接近。
• loader 长度不能被 k 整除时仍处理全部样本。
• 连续训练 N 步与 save/resume 后训练 N 步输出一致或在允许误差内。
• optimizer、scheduler、scaler、epoch、global step、RNG 全部 round-trip。
• 每次 optimizer update 的 scheduler step 数精确一致。

追问

• BatchNorm 下 micro-batch 与大 batch 为什么不完全等价？
• mixed precision 时 scaler 在哪里更新？
• 分布式训练中 accumulation 与 no_sync() 怎样交互？

背景

PR 为昂贵的蛋白 embedding 增加磁盘 cache。

伪 diff

 def embed(sequence, model, cache):
      -    return model.encode(sequence)
      +    key = hashlib.sha1(sequence.encode()).hexdigest()
      +    if key not in cache:
      +        cache[key] = model.encode(sequence).cpu()
      +    return cache[key]

应发现的问题

• key 只含 sequence，不含 model/checkpoint、tokenizer、preprocessing、dtype 或 config。
• 模型升级后会静默复用旧 embedding。
• 是否在 eval() 和 no_grad() 下计算不明确。
• 不同 chain delimiters、大小写或 unknown token normalization 可能碰到语义冲突。
• cache corruption 和并发写入未处理。

Blocker 排序

1. P0：stale cache 混合不同模型版本，结果不可追溯。
2. P1：tokenization/preprocessing 未进入 key。
3. P1：inference mode 与 graph/device 行为。
4. P2：并发、原子写入、空间淘汰。

参考 review

Blocker: The cache key identifies only the raw sequence, but embeddings also depend on checkpoint, tokenizer and preprocessing. A model update will silently return stale vectors. Include a versioned model/config fingerprint and normalized token IDs in the key, and record provenance with each value.

测试建议

• 相同 sequence、不同 checkpoint 必须产生不同 cache entry。
• tokenizer config 改变时 cache miss。
• cache hit 与 fresh compute 数值一致。
• corrupted entry 能检测并重算。
• 两进程并发写不产生部分文件。

追问

• 哪些内容属于 data lineage？
• cache key 用 checkpoint hash 的成本和替代方案？
• production rollout 时怎样预热、监控和失效 cache？

背景

PR 简化 protein graph construction，按 flatten 后的 residue index 添加 backbone edges。

伪 diff

 residues = chain_a + chain_b
       n = len(residues)
      +src = torch.arange(n - 1)
      +dst = src + 1
      +backbone_edges = torch.stack([src, dst])

应发现的问题

chain A 的末 residue 被错误连接到 chain B 的首 residue。若模型依赖 edge type，错误边会暗示共价 backbone。还要检查 reverse edges、missing residue numbering 和 insertion codes。

Blocker 排序

1. P0：跨 chain 的虚假共价边破坏结构语义。
2. P1：只添加单向边是否符合 message passing contract。
3. P1：PDB residue numbering discontinuity 和 missing residues。
4. P2：edge construction 应集中在可测试 helper。

参考 review

Blocker: Flattening chains before adding i → i+1 edges creates a false backbone bond across each chain boundary. Construct sequential edges within each chain using explicit chain IDs, then add inter-chain spatial contacts as a different edge type.

测试建议

• 两条长度分别为 2 和 3 的 chain，backbone edges 只能是各 chain 内部。
• chain order 改变不改变每条 chain 内部连接。
• missing residue 和 insertion code 有明确规则。
• 若图为无向，反向边完整且无重复。
• inter-chain contact 与 backbone edge type 可区分。

追问

• sequence adjacency 与 spatial adjacency 如何编码？
• 多链 complex 的 permutation symmetry 怎样处理？
• 数据中 chain ID 不稳定时如何建立 canonicalization？

Research collaboration

• 与 wet-lab scientist 对同一现象理解不同时怎样推进。
• 数据生成成本很高时怎样决定下一实验。
• 如何把模糊科学问题变成可验证 ML objective。
• 怎样把 negative result 讲清楚，而不是掩盖。

Technical ownership

• 从想法、数据、实验到代码和结果，自己拥有什么。
• 怎样 review 他人代码和接受 review。
• 遇到无法复现的结果怎样处理。
• deadline、研究质量和工程债务冲突时怎样排序。

Judgment and behavior

• 一个错误技术决定及修复。
• 一个失败实验及其改变。
• 与合作者冲突但最终达成决策。
• 何时坚持，何时停止继续优化。
• 如何帮助比自己背景不同的人理解模型。

Questions for interviewers

针对不同角色准备不同问题：

• 对 ML scientist：当前最难的 evaluation 或 data bottleneck。
• 对 computational biologist：模型假设最常在哪些生物场景失败。
• 对 wet-lab collaborator：实验反馈的 latency、noise 和容量。
• 对 manager：前三个月成功的可观测定义。
• 对 platform/engineering：研究代码怎样进入可复用 pipeline。

不要假装已经知道内部计划。用问题校准，而不是用猜测展示“懂公司”。

Motif data augmentation

在 talk 中主动回答：

• motif 如何定义和抽取；
• full structures 与 motifs 的数量及权重；
• parent-level split；
• 为什么不是简单重复数据；
• 显存收益与统计收益分别怎样验证；
• 如果 RAM 无限，motif sampling 是否仍保留。

PDB clash 与 refinement

主动回答：

• clash label 和质量过滤；
• training data 本身含 clash 的影响；
• conditioning 为什么可能有效；
• 输出改善怎样与 trivial smoothing 区分；
• guidance failure 的结果和假设；
• geometry metric 之外是否有功能或实验验证。

Diffusion design choice

主动回答：

• 为什么使用 diffusion，而不是 energy minimization、autoregressive 或 direct regression；
• prediction parameterization；
• symmetry 和 coordinate handling；
• training/inference cost；
• 对小数据量的 regularization 和 pretraining；
• 模型成功与科学成功的差别。

标准路径，3–4 小时

• 30m：不看资料写两层 MLP、MSE training loop。
• 30m：写 sequence padding、mask、masked mean。
• 45m：口头回答一个 ML case，录音。
• 60m：读一个小 PyTorch repo，画 data flow。
• 45m：review 情境 1 和 2。
• 15m：建立 error log。

验收

• 代码能运行，且能解释每个 tensor shape。
• 能说出至少三个自己的基础错误。
• case 回答包含 split、baseline、metric，而不是直接跳模型。

验收

• 看到 loss code 能立刻检查 shape、input semantics、mask 和 denominator。
• 能用最小数值例子手算结果。

验收

• 不查资料写出 attention 核心。
• 能解释 [B, H, L, D] 每个维度。
• 能指出 mask polarity 和 all-masked row 风险。

验收

• 一步 optimizer 后验证哪些参数真的更新。
• 能检查 state dict 和 checkpoint completeness。

验收

• mu=0, logvar=0 的 KL 能手算。
• 能解释 reduction 如何改变 beta 的含义。

验收

• 不混淆 epsilon、x0、v。
• 能用 oracle predictor 写最小 correctness test。

验收

• 三场都在时间内结束。
• PR review 能先说 blocker。
• 任何猜测都能明确标注。

验收

• 能解释 random split 为什么可能严重高估 generalization。
• 能提出缓存 cluster split，而不是删除科学约束。

验收

• 区分 invariant scalar 和 equivariant vector output。
• 遇到单位不明时先找 contract，不凭直觉修改。

验收

• 能说明“模型 state 恢复”和“训练精确恢复”的区别。
• 每个 blocker 都带验证和 rollout 风险。

验收

• 被打断后能回到主线。
• 对未证明结论不使用确定语气。
• 结束时仍有清晰三点 takeaway。

验收

• 五分钟内讲完整 data flow。
• 能指出两个明确测试缺口，但不把猜测当 bug。

验收

• 全程无 AI。
• 时间控制稳定。
• 错误后能恢复，不掩盖。
• 问题排序和结论可信。

验收

• 睡眠和状态优先。
• 只复习高频错误，不追求知识面扩张。

最低路径，每天 90–120 分钟

• 30m 无 AI PyTorch。
• 30m repo/PR。
• 20m case 或 HM 口头。
• 10m error log。

不可省略：Day 1、2、3、7、10、12、13、14 的核心验收。

标准路径，每天 3–4 小时

执行上述逐日安排。这是两周内从“知道原理但编码生疏”恢复到可面试状态的主方案。

冲刺路径，每天 5–6 小时

在标准路径上增加：

• 第二次计时重做；
• 一名伙伴做 interviewer；
• 每天一个新 50–100 行 diff；
• research talk 的 20m/40m 双版本；
• 真实 repo 到达后每天一次 oral defense。

冲刺路径不能以熬夜换小时，也不能把时间花在完整实现大型模型。