微卫星不稳定性 (MSI) 是多种癌症类型中常见的一种现象，其特征是在整个基因组中发现的微卫星区域中插入和缺失（indels）的积累，具有高微卫星不稳定性 (MSI-H) 的癌症可能是免疫检查点抑制剂治疗的良好候选者。所以MSI自1993年首次在结直肠癌中被提出后，不断发展。目前作为帮助指导免疫检查点抑制剂治疗的生物标志物，已经进入数十种癌症的指南/共识之中。详细信息可以参考我们之前的合集文章 。
虽然尚未在实验室环境中确切证明 MSI 是如何产生的，但主要的假设是 DNA 错配修复途径的缺陷可能导致微卫星位点插入/缺失数量的增加。这种插入缺失率的显着增加是 MSI 的主要特征及其主要识别方式。
目前已经有很多基于不同原理的检测方法包括IHC、PCR、NGS。之前的文章也有介绍，在这里我们也不进行赘述，今天介绍的是最近刚发表在发表在《Briefings in Bioinformatics》期刊上的一篇对现有公开的基于NGS数据进行MSI检测软件进行的评估文章。
因为MSI-L不是在所有软件都支持，所以所有测评都是进行的二分类：MSI-H 和 MSS（MSI-L视为MSS）。
测试数据集
数据分为两个部分：TCGA数据 和 其他测试数据。
- TCGA的测试数据都是从GDC下载的，数据格式都是Bam文件格式，数据类型包括 WXS（852）、WGS（321）、RNA（825） 的测序数据。具体清单如下：
Project ID Cancer Sequencing Number of Samples Number of MSS Number of MSI-H COAD Colon WGS 56 46 10 ESCA Esophageal WGS 2 0 2 STAD Stomach WGS 136 107 29 UCEC Uterine/endometrial WGS 145 102 43 COAD Colon WXS 284 232 52 ESCA Esophageal WXS 3 0 3 READ Rectum WXS 3 0 3 STAD Stomach WXS 292 228 64 UCEC Uterine/endometrial WXS 268 196 72 COAD Colon RNA 280 230 50 ESCA Esophageal RNA 3 0 3 READ Rectum RNA 3 0 3 STAD Stomach RNA 272 213 59 UCEC Uterine/Endometrial RNA 268 196 72 - 非TCGA数据都是从SRA数据库数据库中提取出来的，然后参考TCGA的处理流程（BWA比对到GRCh38.p14）进行的相关处理。
Project ID Cancer Sequencing Number of Samples Number of MSS Number of MSI-H PRJNA629785 Colorectal End-seq 34 7 27 PRJNA810563 Pan 6 Marker Panel 178 166 12 SRP008162 Prostate T/O WXS 21 16 5 PRJNA727917 Colorectal P/N WXS 21 0 21 PRJNA256024 Prostate 53 Marker Panel 43 30 13 PRJNA701182 Pan 161 Marker Panel 191 185 6 PRJNA841034 Gastric TSO500 36 34 2 PRJEB57620 Male Breast TSO500 14 14 0 PRJNA843231 Pan TSO500 14 11 3 PRJNA748264 Colon RNA 143 122 21
测评的软件
文章总共评估了8款软件，分别是：MSIsensor , MSIsensor2 , MSIsensor-pro , mSINGS, MANTIS , MSINGB , PreMSIm , and MSIsensor-RNA。 当然所有的相关处理基本（除了 MANTIS 调整了质量阈值，否则找不到可用位点无法分析）都是按着研发作者的推荐设置进行的配置。
| Tool | Original evaluation data | Algorithm used for MSI detection | Output (MSI score) | Recommended threshold | Requires paired normal |
|---|---|---|---|---|---|
| MSIsensor | 242 endometrial TCGA WXS samples | χ2 test between tumor and normal read counts | Percent of unstable microsatellites | 3.5 | Yes |
| MSIsensor-pro | 1532 pan-cancer TCGA WXS samples | Multinomial distribution model distinguishes MSI sites by comparing probability of polymerase slippage | Percent of unstable microsatellites | None | No |
| MSIsensor2 | 117 EGA samples and 10 TSO500 samples (TCGA also used but not numerically described) | Machine learning based (specifics not given) | Percent of unstable microsatellites | 20 | No |
| mSINGS | 26 TCGA pan-cancer WXS and 298 pan-cancer gene panel samples | Read count differences between tumor sample and baseline normal | Fraction of unstable microsatellites | 0.2 | No |
| MANTIS | 387 pan-cancer TCGA WXS samples | Absolute stepwise difference between tumor and normal read counts | Average aggregate instability | 0.4 | Yes |
| MSINGB | 1432 pan-cancer TCGA WXS samples and 1055 pan-cancer non-TCGA WXS samples | NGBoost machine learning model based on somatic mutations | MSI status and probability of the classification | N/A (No score output) | No |
| PreMSIm | 1383 pan-cancer TCGA RNA samples and 2006 gastric/colorectal microarray samples | K-nearest neighbors machine learning model based on gene expression | MSI status and probability of the classification | N/A (No score output) | No |
| MSIsensor-RNA | 1428 pan-cancer TCGA RNA samples, 247 non-TCGA RNA samples, 1468 gastric/colorectal microarray samples, and 133 SC-RNA colorectal samples | Support vector machine learning classifier based on gene expression | MSI status and probability of the classification | N/A (No score output, but there are recommendations for feature selection thresholds) | No |
测评结果
MSI 工具在 WXS 样本上的表现优于 WGS 样本
大多数 MSI 工具在 WXS 数据上的表现优于在 WGS 数据上的表现。两个例外是 mSINGS 和 MSINGB，它们在额外的配对正常和仅肿瘤 WXS 数据集上的性能指标较低。所有 MSI 工具都对 TCGA WXS 数据表现出良好的性能，但 mSINGS 除外，它的召回率和 F1 分数较低。在所有 MSI 工具中，只有 MSIsensor2 在 WGS 数据的所有性能指标上都具有较高的值
所有 MSI 工具及其在创建混淆矩阵的所有数据集上的性能的热图（具体数据不影响我们整体理解软件性能，有需要可以在文章原文中查看）。黑色图块是 NA 值，黑白条纹图块是无法计算指标的实例。
- P/N WXS 是额外的配对正常全外显子组测序数据集，
- T/O WXS 是额外的仅肿瘤全外显子组测序数据集。
- 6 Marker是 6 个单核苷酸芯片。
- TCGA WGS 是由来自TCGA的全外显子组
- WXS 是由来自TCGA的 WGS 数据。
- all 是每个工具的合并结果。
MSIsensor、MSIsensor-pro、MSIsensor2 和 MANTIS 的 ROC 和 PR 曲线均具有较高的曲线下面积 (AUC)。除 MSIsensor2 和 MANTIS 之外，所有工具的 WGS 数据的 ROC 和 PR AUC 值也显着低于 WXS 数据（A、B、C、D )。在 ROC 空间与 PR 空间中测量时，AUC 也出现大幅下降，这意味着工具可能会遗漏更多真实的阳性结果（2C、D )。 ROC 和 PR AUC 最显着的差异体现在 WXS 数据上的 mSINGS 以及 WGS 数据上的 MSIsensor 和 MSIsensor-pro
所有 TCGA 样本的 ROC 和 PR 曲线。 TCGA WXS（A、B）和 WGS（C、D）样本的所有 ROC 曲线和 PR 曲线。