荧光显微镜是生物医学研究中的重要工具，通过使用荧光染料或荧光蛋白标记特定的细胞或分子，使其在显微镜下发出荧光，从而实现高分辨率的成像。
光片荧光显微镜是一种革命性的新兴三维成像技术，通过快速扫描薄片样本，实现高通量、高分辨率的三维成像。该技术具有光漂白与光毒性低、光子利用效率高、成像速度快和分辨率高等优点，广泛应用于神经科学、细胞生物学、病理学等生物医学领域。光片荧光显微成像技术在三维病理分析中展现出了巨大的潜力。
相比于传统的二维病理切片，三维病理分析能够提供组织结构的完整空间信息，有助于更全面地理解疾病的发生和发展机制。三维病理分析领域的发展，将极大地推动病理学研究的深入和临床诊断的化，为疾病的早期发现、*治疗和个性化医疗提供强有力的支持。
华中科技大学光学与电子信息学的费鹏团队发表综述，介绍了光片显微成像技术的发展及其在病理领域的应用，然后介绍了目前三维病理分析的主要工作和方法，着重讨论了新兴的多模态大语言模型在病理分析领域的应用前景。
光片显微镜的发展及应用
光片显微镜的发展历程
2004年，Huisken课题组提出SPIM，首次将光片显微镜带入人们的视野，大大降低了光漂白和光毒性，并能连续采集长时间序列图像。
2007年，基于之前工作提出mSPIM，减少了SPIM中的条纹伪影。2008年，Keller等人提出DSLM，其通过扫描高斯光束形成虚拟光片。SPIM和DSLM奠定了光片显微镜的基本模式。
SPIM概览。（a）样品室示意图；（b）SPIM成像的青鳉鱼胚胎；（c）黑腹果蝇胚胎形成延时成像
光片生成的并行化。SPIM同时照明并捕捉整个视野的荧光，而mSPIM通过围绕其中心旋转光片来减少条纹伪影。DSLM通过时间共享光束生成虚拟光片，任何给定时间内仅有被照明条带产生荧光。为了保持相同信噪比，随着视野大小（沿扫描轴）相对于光片厚度的增加，DSLM需要更高的峰值强度Ipeak
近年来，光片显微镜朝着更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像体积发展。例如贝塞尔光片显微镜、Lattice显微镜、平面扫面共焦（SCAPE）显微镜及其改进版等多种*显微镜技术被提出。
传统荧光显微镜在三维成像、长时间活体成像、光漂白和光毒性方面存在局限性，宽场荧光显微镜图像对比度低，共聚焦显微镜成像速度慢且光漂白和光毒性较大。
为解决这些问题，光片荧光显微镜应运而生。它用一束薄薄的光片从侧面照射样品，减少了曝光量，大大降低了光漂白和光毒性，同时实现了快速、高分辨率的三维成像。
光片荧光显微镜。左侧：典型的光片显微镜，成对的正交光路提供平面照明（蓝色）和宽视场荧光检测（绿色）。右侧：通过选择性照明单个平面实现光学切片
光片显微镜的重要技术发展
组织透明化技术：组织透明化技术通过化学试剂置换、冲洗等方法对生物样本进行脱水、脱脂等操作，然后填充试剂使样本具有均匀折射率，*放入折射率匹配的试剂中实现光的透明。该技术与光片显微镜结合，可提取复杂哺乳动物和大型人类标本的结构信息，如构建单细胞分辨率小鼠大脑图谱。
全脑单细胞分辨率成像。（a）组织透明化方法允许对全脑细胞进行轮廓分析；（b）使用亲水性组织透明化和定制的高分辨率光片显微镜获得的成年小鼠大脑图像；（c）三维单细胞分辨率的小鼠脑图谱
光片显微镜在病理组织样本中的应用
肿瘤病理学研究：光片显微镜可实现肿瘤组织的三维成像，提供详细结构信息，用于评估药物疗效和指导个性化治疗。如开顶光片显微镜可对前列腺组织样本进行成像，还有研究对乳腺癌、膀胱肿瘤等的相关组织进行了成像研究，展示了其在肿瘤病理诊断和药物研究中的价值。
神经病理学和大脑研究：在研究神经网络结构方面具有优势，可观察脑组织及神经元等结构的三维形态特征。如对脑部标本的透明化方法进行可视化，在人脑组织中寻找感兴趣区域并进行相关研究，以及对人脑枕叶组织、厚人脑切片中的淀粉样斑块等进行成像研究，体现了其在研究神经系统疾病病理机制中的重要性。
其他病理学研究：在皮肤、眼球、口腔等病理组织研究中也有重要应用。如对人体皮肤活检组织样本、人眼、人类牙髓等进行成像，展示了其在临床环境的体内组织原位体积成像中的重要作用。
光片显微镜在病理组织样本中的应用。（a）人类前列腺芯针活检样本虚拟苏木精-伊红染色的体积图像及其正交二维横截面，右侧为感兴趣区域中不同深度的放大视图；（b）BT-474人类乳腺癌细胞系异种移植的整个肿瘤块中药物输送的可视化；（c）厚人脑组织切片的大规模荧光成像，放大视图展示了富含淀粉样蛋白的区域；（d）人类舌头背面无标记体内成像图像，舌头的丝状乳头和蕈状乳头组织的H&E染色图像、感兴趣区域在台式和微型MediSCAPE显微镜下成像图像
病理分析的应用及发展
病理分析是一门医学分支，其主要包含组织学、细胞学、免疫组织化学、分子病理学等方面。对于许多常见的癌症和肿瘤，比如乳腺癌、前列腺癌、肺癌、胃肠道癌、皮肤癌以及各种良性和恶性的肿瘤等，病理分析通过对这些疾病的组织样本进行详细检查，提供了明确的诊断依据，帮助医生制定有效的治疗方案。
光片显微镜作为一种新兴的显微成像技术，能够以高速度、高分辨率和低光毒性成像大体积样本。这种技术极其适用于三维组织成像、活体成像、多色荧光成像等场景，在病理分析中有着广泛的应用前景。随着光片显微镜技术的不断发展，算法的进步也在推动病理分析迈向新的高度。
虚拟染色技术
传统组织染色方法如H&E染色虽对病理学发展有重要作用，但存在时间成本高、操作繁琐、样本损坏和染色一致性差等问题。
虚拟染色技术兴起得益于数字病理学和计算机视觉技术的快速发展。它利用图像算法将显微镜下的无染色或轻度染色的生物组织图像转换为类似于传统染色效果的技术。其显著减少染色过程所需时间和成本，在组织病理学中，除固定样本外，只需用类似H&E染色的荧光标记物进行标记，整个样本准备过程少于3分钟，并且减少额外材料开支。其图像算法在GPU上并行处理时可在亚毫秒级处理每帧图像。例如Jonathan T.C.Liu课题组提出的快速数字染色软件包（FalseColor-Python）通过GPU加速处理大规模数据集，实现高效虚拟染色。
不同研究者针对各种视觉的定量指标进行对比，发现虚拟染色的结果与传统染色结果非常接近。同时对一些临床分析的结果进行对比，发现虚拟染色的结果并不会影响*终的判断。这些结果表明通过虚拟染色生成的病理图像是可靠的，可以在不影响诊断信息的情况下提供高质量的组织图像。
虚拟染色技术允许研究者在同一图像上应用不同的染色方案，无需对样本进行多次处理，减少对样本的损耗和操作成本，提供更加灵活和多样化的选择。例如Zhang等人通过深度学技术对未标记的组织样本进行虚拟染色，*复现H&E染色、Masson三色和Jones'银染色，该方法能在单个组织切片上实现多重染色，无需进行多次物理处理，大大提高组织学分析的效率和准确性。Liu等人同样利用深度学方法，从H&E染色图像中生成虚拟的免疫组织化学（Immunohistochemistry，IHC）图像，从而在不进行实际染色的情况下，获得同样高质量的诊断信息。
虚拟染色结果。（a）用FalseColor-Python染色的病理组织（皮肤、肾脏、前列腺癌、表皮的基底层、肾小管、前列腺），通过调整染色参数实现不同风格的结果；（b）淋巴结虚拟染色前后对比图。左侧为用H&E荧光类似物染色的可视化，右侧为用FalseColor-Python虚拟H&E染色的可视化；（c）利用Cycle-GAN将H&E染色风格的病理图像转变为IHC染色风格，能够准确预测出Ki-67的表达分布
虚拟染色通过算法实现，对于同样的组织样本，只要保持参数一致，就能够提供一致的染色效果，避免传统染色方法中的人为误差和实验室间差异。
传统染色方法可能对样本造成损伤，而虚拟染色技术是非破坏性的。研究者可以多次对同一样本进行不同的虚拟染色处理，保留原始样本的完整性。例如Jonathan T.C.Liu课题组的研究展示一种多分辨率非破坏性三维病理学方法，通过结合荧光染色和光学透明化技术，对淋巴结进行全方位成像，提高淋巴结转移分期的准确性。
同时，虚拟染色技术可以很好地与光片荧光显微镜相结合。例如 Jonathan T.C.Liu课题组的研究中采用开顶式光片显微镜对经过H&E染色荧光类似物标记的组织样本进行成像。
这种结合可以显著降低染色成本、提高病理分析效率、减少样品损伤等，为病理分析提供强有力的工具，具有广阔的应用前景。
病理分析的研究进展
光片荧光显微成像技术：可快速、非破坏性地获取高分辨率三维图像，在癌症研究、神经科学和发育生物学等领域有巨大潜力，能实现大样本高通量分析和动态过程实时监测。
虚拟染色技术：通过计算方法替代传统染色过程，加快病理切片处理速度，减少染色剂使用，提高环境友好性。
机器学和数字图像处理技术：
二维病理分析：是病理学研究的基石，随着人工智能发展，利用深度学算法对病理图像进行分类诊断，在乳腺癌等疾病的病理分析中有诸多应用，但存在无法充分展示组织结构复杂性和空间关系的局限性。
作者提出框架的概述，包含标注、训练和推理方法。（a）*病理学家使用计算机辅助标注软件，根据患者的H&E染色和相应的IHC染色组织微阵列图像对PD-L1状态进行标注；（b）通过五折交叉验证使用训练集的H&E图像训练CNN模型，并在验证集、测试集上生成每个患者的预测分数，取*值与病理学家标注进行比较以进行统计分析
三维病理分析：光片荧光显微镜在三维病理分析中有诸多优势，能提供更全面*的组织结构信息。如 Jonathan T.C.Liu课题组提出的TriPath平台，以及在前列腺癌、乳腺癌等组织上的一系列工作，还有其他关于不同组织的研究，都展示了三维病理分析的优势，结合自动化算法可帮助医生更准确诊断疾病。
TriPath计算工作流程。（a）3D成像模式可以捕捉组织样本的高分辨率体积图像；（b）TriPath首先将组织的体积图像从背景中分离出来，然后将原始体积切分成小块；（c）这些小块通过预训练的特征编码器网络进行处理（3D CNN或3D Vision Transformer）。这些编码特征通过一个领域适应的浅层全连接网络进行压缩。接下来，一个聚合模块对代表所有实例的特征进行聚合，根据其对体积级特征贡献的重要性自动加权，以生成患者级别的预测。TriPath还提供了显著性热图用于临床解释和验证。
三维病理分析工作介绍。（a）左侧三列分别为二维的虚拟染色H&E图像、合成CK8 IHC图像、CK8图像的腺体分割掩膜。右侧展示了良性和癌性区域的腺体分割的三维渲染图；（b）上方：在模拟组织学图像中观察到一个微小转移灶（<2毫米）。左下角：深度3D成像显示肿瘤沉积为一个大转移灶（>2毫米）。右下角：高分辨率成像显示了转移灶和良性组织之间的界面；（c）使用Amira和MATLAB软件包对单细胞进行自动定量，评估了肿瘤每个细胞中的波形蛋白水平，并对其表达做了三维渲染
病理分析大模型：病理分析大模型是在医疗健康领域应用的大规模预训练模型，参数量大，具备更强的特征提取和学能力，在不同任务场景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，这些模型在不同的病理学任务中表现优异。
病理分析大模型概览。（a）UNI概览；（b）Prov-GigaPath概览；（c）Virchow概览
多模态大语言模型的应用及发展
多模态大语言模型的发展追溯到Transformer结构的提出，随后基于Transformer的GPT、BERT等语言基础模型诞生，接着ViT模型将Transformer应用到计算机视觉领域，CLIP架构实现了多模态信息的融合。
主流多模态大语言模型主要由图像编码器和文本编码器经过CLIP框架预训练，再结合预训练的LLM等组成，采用多种训练方式，如参数高效微调方法等。
多模态大语言模型的核心组件
多模态大语言模型在病理分析领域的应用
生成医学报告：根据病人影像资料和病历文本自动生成详细医学报告，节省医生时间，提高工作效率和报告准确性。
诊断疾病：结合影像和文本数据提高疾病诊断准确性，如在肺癌早期筛查中的应用。
数字病理分析：通过学病理图像和诊断信息，自动识别、计算和分类病理组织，为病理医生提供辅助工具。
人机交互：实现自然和直观的人机交互，方便医学工作者获取信息和建议。
应用案例：如Tiu等人利用CLIP模型实现对多种疾病的检测，还有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任务中的应用。
遵循指令的数据集管理和PathChat概述。（a）作者策划了目前*的专门用于病理学领域的指令微调数据集，由456,916条指令和相应的响应组成，涵盖各种格式。该助手可以对视觉和自然语言输入进行推理；（b）PathChat的训练过程
PathAsst整体框架示意图。多模态MLLM训练包括PathCLIP和PathAsst的训练过程以及论文嵌入数据库的构建。工具增强的MLLM推理详细说明了PathAsst利用各种工具来提高其生成输出质量的过程
M3D-LaMed模型概述。（a）3D图像编码器通过与图像-文本对进行跨模态对比学损失预训练，执行图像-文本检索。（b）在M3D-LaMed模型中，3D医学图像被输入到预训练的3D图像编码器和有效的3D空间池化感知器中，以生成精细的嵌入并插入到LLM中。输出的[SEG]视为提示符，以调用可提示的3D医学分割模型，从而获得3D掩码输出。通过我们的M3D-Data，M3D-LaMed可以应用于各种3D医学任务
多模态大语言模型结合光片显微镜展望
模型复杂性与计算资源：模型结构复杂、参数多，三维病理图像数据处理更复杂，需要强大计算资源，这是研究机构和医疗机构的瓶颈，但随着技术发展有望突破。
三维病理数据获取与标注困难：需要大量三维病理图像-文本对数据，目前缺乏大规模三维病理数据集，光片显微镜可解决此问题，还可通过模态迁移与适配在现有二维病理大模型上进行改进。
可能存在的问题：可能存在偏见和知识抄袭问题，且容易产生幻觉和错误，需要谨慎整合到病理实践中，病理学家要验证其生成内容。
应用前景：光片显微镜与多模态大语言模型结合可改善三维病理数据获取与标注困难，处理一系列病理分析任务，具有巨大临床价值，虽然面临挑战，但随着技术进步有望解决，应用前景广阔。
结与展望
光片荧光显微镜具有高分辨率、成像速度快、光毒性和光漂白低等优势，在生物医学领域应用广泛且不断发展，在三维病理成像领域潜力巨大。人工智能技术在病理分析中的应用不断发展，从传统的CNN模型到通用的综合性病理分析大模型。光片荧光显微镜与多模态大语言模型结合将为病理分析领域提供更强大的工具支持，推动该领域进一步发展。
内容来源：费鹏, 思文天, 张敏. 基于光片荧光显微镜的三维病理分析综述[J]. 光学学报（网络版）, 2024, 01(05): 02.
