031
Intro
Evaluating the Role of Pretraining Dataset Size and Diversity on Single-Cell Foundation Model Performance 是 Alan DenAdel 等人在 2026 年发表于 Nature Methods 的研究文章。它问的是一个很直接的问题：single-cell foundation model 真的会因为预训练细胞数越来越多而持续变好吗？
作者用 22.2 million cells 的 scTab corpus 做系统实验，改变预训练数据规模和数据构成，训练 400 个模型，并在 6,400 个实验中评估 zero-shot 和 fine-tuned 任务。结论相当克制：在当前模型和任务设置下，单纯扩大预训练数据集并没有带来稳定收益，很多性能曲线在很小的数据比例处就已经饱和。
Why I Read It
single-cell 领域最近很容易把 “foundation model” 和 “更大 atlas” 直接连在一起。模型用了 30M、50M、100M 细胞预训练，听起来天然更强。但如果下游任务上没有超过简单 baseline，或者性能很早就饱和，这种规模本身就不是充分证据。
我读这篇主要是为了校准后面看 scGPT、Geneformer、scFoundation、Virtual Cell 和 perturbation model 时的判断标准。对于 single-cell practice 来说，问题不是要不要用 foundation model，而是它在 annotation、integration、perturbation prediction、reference mapping 或机制发现中到底解决了哪个具体问题，是否比 PCA、HVG、scVI、logistic regression 这类方法更有价值。
What It Says
作者评估了五类模型，从简单到复杂包括 Pre-trained PCA、scVI、SSL、Geneformer 和 SCimilarity。预训练数据来自 scTab，覆盖 22.2 million cells、164 个 cell types、5,052 个 donors 和 56 个 tissues。作者构建了不同规模的预训练集，包括 1%、10%、25%、50%、75% 和 100%，并用三种下采样策略改变数据构成：random downsampling、cell type re-weighting 和 geometric sketching。
这三种采样方式分别代表不同假设。random downsampling 是最朴素的规模控制；cell type re-weighting 试图让 metadata 上的 cell type 更均衡；geometric sketching 则在 transcriptomic space 中提高表达状态多样性。作者用 Shannon index、Gini-Simpson index 和 Vendi Score 确认这些策略确实改变了数据多样性。
下游评估包括四类任务：zero-shot cell type classification、fine-tuned cell type classification、zero-shot batch integration 和 fine-tuned perturbation prediction。评估数据集包括 clonal hematopoiesis、intestine-on-chip、placental infection、periodontitis、lung、renal、liver，以及 Tahoe-100M 的 perturbation subset。这些数据集没有出现在 scTab 训练 subset 中，减少了训练-测试泄漏的问题。
结果的主线很清楚。对 cell type classification 来说，fine-tuned performance 通常在 1% 预训练数据处就饱和，并且不需要超过 10%。1% scTab 大约是 200,000 cells。Zero-shot classification 也多在 1%-10% 饱和，少数 SSL 或 Geneformer 情况需要到 25%。增加 cell type diversity 或 transcriptomic diversity 并没有系统性优于 random downsampling。
Batch integration 复现了类似趋势。Pre-trained PCA、scVI 和 SCimilarity 通常在小规模预训练集上就达到接近最优；SSL 和 Geneformer 的 saturation point 更不稳定，但也没有表现出“越大越好”的持续 scaling。
Perturbation prediction 的结果更尖锐。作者使用 Tahoe-100M 中四个 cell lines 和四种 drugs，训练模型从 unperturbed cell embedding 预测 perturbed expression。在这些任务中，所有模型架构都在 1% 预训练数据处饱和。除 Dinaciclib 外，简单的 “predict no change” baseline 反而超过了 fine-tuned models。
作者还做了 perturbation data spike-in 实验，把 Replogle Perturb-seq cells 以 10% 或 50% 替换到 scTab 预训练集中。这个操作没有改善 classification 或 integration。也就是说，加入“更特别”的数据类型本身不够，预训练数据和预训练任务必须与目标任务对齐。
最后，作者测试了模型规模。更大的 scVI 和 Geneformer 在部分 zero-shot classification 中提高了绝对表现，但没有改变数据规模饱和现象。Geneformer 256-dimensional embedding 与 128-dimensional embedding 表现接近，也提示模型参数规模本身可能有任务相关的饱和。
What I Take From It
这篇文章最有用的地方，是把 single-cell foundation model 从规模叙事拉回到 benchmark 和 task alignment。更大的 corpus 不是无条件收益；如果任务是 cell type classification 或 batch integration，PCA、HVG、scVI 或简单 classifier 已经捕获了大量表达结构，复杂 transformer 必须证明自己在明确任务上提供额外价值。
它也让我重新理解 “data diversity”。这里的 cell type re-weighting 和 geometric sketching 确实提高了某些多样性指标，但没有稳定提升下游表现。这说明 diversity 不能只被当作一个抽象指标。真正有用的数据内容可能是罕见状态、疾病状态、发育轨迹、组织上下文、空间信息或扰动机制，而不是简单地让 cell type label 更均衡或 transcriptomic space 覆盖更平均。
对 foundation model 开发来说，文章给出的方向不是停止 scaling，而是把 scaling 拆开看：dataset size、data quality、model capacity、compute budget、tokenization、loss function 和 downstream task 必须一起考虑。单细胞数据未必适合直接套用 NLP 的 “cell as a sentence of genes” 类比。很多表达矩阵任务里，“cell as a bag of RNA” 加上好的 embedding 仍然很强。
Note
这篇文章的结论要放在任务边界内理解。作者选的是比较清楚、可量化、有 ground truth 或可操作指标的任务：classification、integration 和 perturbation prediction。它没有证明 scFM 在 gene regulatory network inference、机制发现、cross-modal reasoning 或生成式模拟中一定没有 scaling benefit。
同时，预训练数据基本使用 scTab as-is，没有经过更强的质量控制和生物学策划。因此这篇文章反对的是盲目扩大数据规模，不是反对高质量、任务定向的数据构建。更好的 disease atlas、perturbation atlas、spatial/multi-omic atlas 或 carefully curated rare-state corpus 仍可能有价值。
我会把这篇作为阅读 scFM 论文的基准：凡是声称更大预训练语料带来更强泛化能力的工作，都需要回答它是否超过简单 baseline，是否区分 zero-shot 和 fine-tuned 场景，benchmark 是否有 ground truth，是否报告边际收益，训练目标是否与目标任务匹配。