熒光顯微鏡具有對樣品損傷小、可特異性成像等優點，是生物醫學研究的主流成像手段。隨著人工智能技術的快速發展，深度學習在逆問題求解中取得了巨大成功，被廣泛應用于諸多領域。
近年來，深度學習在熒光顯微成像中的應用掀起了一個研究熱潮，為熒光顯微技術發展提供了性能上的突破與新思路。
基于此，西安電子科技大學的熊子涵、宋良峰團隊在《紅外與激光工程》發表文章，介紹了深度學習的基本網絡模型，然后對基于深度學習的熒光顯微成像技術在熒光顯微的空間分辨率、圖像采集及重建速度、成像通量和成像質量提升方面的應用進行了闡述。
深度學習基本介紹與發展
深度學習源于人工神經網絡，是機器學習方法中最受歡迎的算法。1943年，Mcculloch等人提出第一個腦神經元抽象模型，隨后Rumelhart和McClelland于1986年提出多層網絡學習的誤差反向傳播學習算法，但1991年該算法被指出存在梯度消失問題。2006年，Hinton提出深度神經網絡模型，使深度學習再次崛起。2012年，AlexNet在ImageNet競賽中的優異表現引起了公眾的全面關注。
卷積神經網絡（CNN）
是一類包含卷積計算且具有深度結構的前饋神經網絡，主要由卷積層、池化層以及全連接層組成。U-Net是一種基于全卷積網絡的經典圖像分割網絡，由編碼器、解碼器和跳躍連接組成，能有效防止信息丟失。
圖1、常用的神經網絡結構圖。(a)卷積神經網絡；(b)U-Net結構；(c) 循環神經網絡；(d)生成對抗網絡
循環神經網絡（RNN）
是一類具有短期記憶能力的神經網絡，通過自反饋的神經元來處理任意長度的時序數據，由輸入層、隱含層以及輸出層組成。為解決長期記憶問題，可采用長短期記憶網絡（LSTM）。
生成對抗網絡（GAN）
是一種無監督深度學習模型，由生成器與判別器兩個模塊組成，兩部分網絡相互博弈以提高網絡性能，在樣本數據生成、圖像生成以及提高圖像分辨率等方面有廣泛應用前景。
深度學習在熒光顯微中的應用
1、增強空間分辨率
基于GAN的深度網絡框架：加州大學Wang等提出，選用U-Net神經網絡，將在低倍物鏡、共聚焦顯微鏡以及全內反射熒光顯微鏡下獲取的低分辨率圖像轉換為高分辨率圖像，具有大視場、高信噪比與高自由度等特點。
通過對牛肺動脈內皮細胞結構和熒光小球進行成像實驗，驗證了該網絡的性能和通用性，實現了跨模態成像，將共聚焦顯微鏡圖像轉換為STED顯微圖像，使空間分辨率得到顯著提升。
其他網絡模型：Zhang等采用GAN實現從LR圖像到HR圖像的轉換，對人類病理切片、熒光標記的成纖維細胞以及轉基因小鼠大腦深層組織進行高分辨成像；Zhou等提出基于3D深度學習的雙生成對抗網絡（Dual GAN），實現LR圖像轉換為HR圖像；Wang課題組提出一種深度對抗網絡（DAN），以一個STED圖像作為輸入，輸出一個對應更高分辨率的STED圖像；Christensen等提出ML-SIM重建方法，使用端到端深度殘差神經網絡；Shah等提出基于深度學習的SR-SIM圖像重建方法RED-fairSIM，在低SNR條件下獲得超分辨率圖像，并有效地抑制了噪聲。
圖2、深度學習網絡提高寬場和共聚焦顯微的成像空間分辨率。(a)用于圖像超分辨率的生成對抗網絡(GAN)構架；(b1)~(b3)網絡對牛肺動脈內皮細胞(BPAECs)的成像結果，(b1)使用10×/0.4NA物鏡采集的網絡輸入圖像，(b2)網絡輸出圖像，(b3)使用20×/0.75NA物鏡采集的圖像；(c1)熒光小球的共聚焦圖像；(c2)利用網絡獲得的跨模態圖像；(c3) STED所獲得的超分辨圖像
2、提升圖像采集與重建速度
DL-SIM方法：Jin等提出基于U-Net網絡的DL-SIM方法，依次使用15張/3張SIM原始圖像與相應的15張常規SIM重建結果分別作為輸入和真值，訓練得到U-Net-SIM15/U-Net-SIM3，將超分辨率SIM所需的原始圖像數量減少5倍，以提高SIM的時間分辨率。對4種不同的亞細胞結構圖像進行恢復重建，證明該方法可以以較少的原始圖像數量來實現快速超分辨SIM成像。
CycleGAN深度神經網絡：深圳大學袁小聰教授課題組提出，將 SIM超分辨圖像重建所需的原始圖像幀數由9幀減少至3幀，實現快速SIM超分辨成像。
其他方法：Boyd等使用DeepLoco方法將SMLM中活躍的熒光團位置生成簡短列表，使用CNN改善傳統算法復雜、耗時的問題；Shechtman課題組將CNN與SMLM相結合，提出了一種快速、精確和無參數的算法；Speiser等開發了DECODE模型，可在發光樣品分子局部重疊的情況下實現單分子定位，將成像時間減少了一個數量級；Weigert等提出了基于深度學習的內容感知圖像恢復（CARE）網絡，有效解決了光片熒光顯微鏡軸向采樣率低的問題；華中科技大學費鵬教授課題組提出視道深度神經網絡（VCD-Net），以解決光場顯微鏡在捕獲毫秒量級生命過程中空間分辨率低且不均勻的限制。
圖3、使用U-Net的超分辨率SIM成像。(a)使用15或3張SIM原始數據圖像作為輸入，并將15張圖像中相應的SIM重建作為訓練U-Net的標簽圖像；(b)不同亞細胞結構的重建結果；(c)圖(b)每張圖像中沿虛線的強度分布。圖中，Average顯示在右側y軸上，其他共享在左側y軸
圖4、深度學習提高光場顯微鏡的成像分辨率。(a)利用VCD-LFM和光場反卷積顯微鏡(LFDM)對斑馬魚心臟跳動中的紅細胞成像；(b)利用VCD-LFM和LFDM對斑馬魚心臟跳動中的心肌細胞核成像
3、提高熒光顯微成像通量
Recurrent-MZ：美國加州大學Huang等設計，采用基于編碼器-解碼器卷積循環網絡（CRNN），通過一系列級聯的編碼器-解碼器對，更好地利用且合并來自不同軸向位置上的不同尺度的特征圖。使用63X/1.4NA物鏡采集3張軸向間隔為6μm的線蟲樣品圖像作為網絡輸入，同時采集軸向間隔為0.2μm的91張圖像作為GT，結果表明網絡預測結果與GT圖像質量相當，標準均方根誤差均值為4、峰值信噪比均值為34。該方法將傳統3D成像所需要的軸向切片數量減少了30倍，成像速度和吞吐量得到顯著提升，并且拓展了成像系統景深。
圖5、通過Recurrent-MZ的體積成像。(a)Recurrent-MZ體積成像框架。M是輸入掃描(2D圖像)的數量，每個輸入掃描與其對應的DPM(數字傳播矩陣)配對；(b)Recurrent-MZ網絡結構
Deep-Z：Ozcan教授課題組提出，從單個2D寬場圖像對熒光樣品進行3D重建，最終實現在±10μm的軸向范圍內重聚焦，將自然景深擴展約20倍，克服傳統技術成像速度和吞吐量的限制，并減少了對樣品的曝光量與光損傷。
DL-fMOST：華中科技大學的Ning等提出，首次使用深度學習進行全腦成像，以0.32μm×0.32μm×2μm分辨率完成對單個小鼠大腦的數據采集，采集時間由3天縮短為1.5天，大大提高了成像吞吐量。
SRRF-Deep：中國科學院西安光學精密機械研究所姚保利課題組提出，通過減少掃描次數與重建時間，顯著提高了利用超分辨率徑向波動（SRRF）方法成像的吞吐量，同時減輕了光漂白與光毒性的影響。將所需的掃描次數減少至SRRF的1/100，同時將1024pixel×1024pixel大小的切片的重建時間由3s減少至約0.1s，將重建速度提升了約30倍。
DSP-Net：華中科技大學費鵬教授課題組提出，通過網絡端到端非迭代推理突破3D熒光顯微鏡通量的極限，可在6min內完成小鼠大腦的3D成像，成像速度比傳統成像方法提升了兩個數量級。在3300μm×830μm×55μm大視場下，以30Hz的體積速率對秀麗隱桿線蟲活動進行追蹤，提高了捕獲瞬時生物過程的時間分辨率，有效改善了LSFM光學吞吐量限制。
圖6、基于雙級互反饋神經網絡(DSP-Net)的小鼠大腦3D成像。(a) DSP-Net的工作流程圖；(b)DSP-Net結合LSFM對小鼠大腦中熒光標記神經元圖像的處理結果
4、改善熒光顯微成像質量
熒光顯微鏡去噪（FMD）數據集：Zhang等構建，由12000張真實熒光顯微圖像組成，主要包含了共聚焦、雙光子、寬場顯微鏡和具有代表性生物樣本如細胞、斑馬魚和小鼠腦組織，使用圖像平均來獲取60000張不同噪聲水平的圖像和對應的標簽，填補了該領域在原始數據上的空白。
圖7、具有不同噪聲水平的熒光顯微圖像數據集。用雙光子顯微鏡在固定的小鼠腦組織上獲取單通道(灰色)圖像。用雙光子顯微鏡在固定的BPAE細胞上獲得多通道(彩色)熒光圖像。真實圖像(GT)是通過對50張有噪聲的原始圖像進行平均估計得到的
尺度循環像差矯正網絡（SRACNet）：浙江大學的Hu等提出，包含參數共享的3個尺度循環訓練，由卷積層、激活層以及修改后的殘差塊組成。修改后的殘差塊在殘差連接基礎上加入2個具有不同卷積核大小的分支，為每個水平提供不同的感受野，同時并行化處理，提高網絡訓練速度。網絡采用RMSE與SSIM相結合的損失函數來執行訓練，可有效增強圖像細節，降低圖像噪聲，抑制偽影以及像差修正，且處理速度達到40.70ms/幅（512pixel×512pixel），適用于實時生物應用。該方法的 PSNR和SSIM值分別為29.29和0.83，而U-Net對應的值分別為28.74和0.82，前者成像質量明顯優于后者。
圖8、用于熒光顯微圖像增強的尺度循環像差矯正網絡(SRACNet)。(a) SRACNet網絡的訓練過程。圓圈箭頭內的數字代表殘差塊的重復次數，每層下的數字代表通道數，下標i代表不同的尺度；(b)修改后的殘差塊結構示意圖。“N”和“N/2”代表通道數
ScatNet：華中科技大學的Xiao等提出，與光片熒光顯微鏡（LSFM）相結合，能夠直接從散射圖像中預測高質量的圖像，擴展了LSFM的成像深度。通過對小鼠腦組織進行實驗，提高了小鼠大腦中超出光子彈道區域的神經元的SNR和分辨率，還將LSFM傳統成像深度提高至300μm。
圖9、ScatNet恢復的由雙光子激發熒光顯微鏡成像的小鼠腦切片(Thy1-YFP-M)中神經元的信號[46]。(a)深度為0µm(ground-truth)平面上腦切片的成像結果；(b)左：深度為100µm平面上腦切片的成像結果，右：對應左圖中的散射信號恢復結果；(c)左：深度為200µm平面上腦切片的成像結果，右：對應左圖中的散射信號恢復的結果；(d)左：深度為300µm平面上腦切片的成像結果，右：對應左圖中的散射信號恢復的結果
5、其他應用
In Silico Labeling（ISL）：谷歌公司提出，樣品無需進行熒光染色，運用ISL模型就可從未標記的固定或活體樣本的透射光的z-stack圖像中預測多種熒光標記，準確預測細胞核的位置、細胞的活性狀態、細胞類型及亞細胞結構類型，還可進行遷移學習適應新的數據集。
無標簽預測3D熒光圖像：Ounkomol等采用U-Net架構成功從透射光圖像中預測三維（3D）熒光活細胞圖像，對64×64×32的3D圖像預測僅需1s。
自動識別生物結構：Khater等使用CNN可以從SMLM數據中自動識別生物結構，對前列腺癌細胞（PC-3）細胞膜上的小窩結構進行識別分類，分類準確率達到了94%。
無監督圖像變換網絡框架（UTOM）：清華大學戴瓊海課題組提出，不需要通過配對訓練數據對網絡進行訓練，就能找到訓練對之間的映射關系，實現不同成像模式之間的高保真轉換，為醫生在手術中快速診斷癌癥、腫瘤等提供便捷。
圖11、無監督圖像變換網絡框架的虛擬熒光成像。(a)無標記組織核心的自體熒光圖像；(b)UTOM預測的H&E染色；(c)用于比較的相應相鄰H&E染色部分的明場圖像
定量評價STED圖像質量：Robitaille等提出了一個基于深度神經網絡對STED圖像質量的定量評價系統，網絡輸入需要評價的圖像，輸出對應圖像的質量分數，其結果是輸入樣本結構分辨率、SNR、光漂白及光氧化等的綜合評價。
總結與展望
深度學習為熒光顯微技術的發展提供了全新的途徑，解決了傳統熒光顯微存在的一些問題，提高了其空間分辨率、成像速度、吞吐量和成像質量。
但深度學習也存在一些局限性，如需要大量高質量的數據標注、泛化能力有待增強以及缺乏可靠的理論解釋等。
未來，我們可以通過FPGA編程將深度學習算法集成到顯微鏡硬件中，開發出基于深度學習的熒光顯微鏡，使其成為更多領域成像和分析的核心技術。相信在不久的將來，深度學習將為熒光顯微技術帶來更多的突破和創新，為生物醫學研究等領域提供更強大的支持。
內容來源：
熊子涵,宋良峰,劉欣,左超,郜鵬.基于深度學習的熒光顯微性能提升（特邀）[J]. 紅外與激光工程,2022,51(11):20220536.Zihan Xiong,Liangfeng Song,Xin Liu,Chao Zuo,Peng Gao.Performance enhancement of fluorescence microscopy by using deep learning (invited)[J].Infrared and Laser Engineering,2022,51(11):20220536.