天富平台公司 - 天富平台APP下载|天富平台代理【官网登录】

【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍

2020年6月29日,浙江大学光电科学与工程学院和美国国立卫生研究院(NIH)联合在Nature Biotechnology在线发表题为Rapid imagedeconvolution and multiview fusion for optical microscopy的研究论文,提出了荧光显微镜图像去卷积和多视角图像融合的新技术,使荧光显微镜图像后处理的效率提高了数十甚至上千倍。

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

研究团队首先修改了显微镜图像后处理过程中常用的去卷积算法,使其运行更快。由于光学系统带来的模糊和噪声会造成荧光显微图像退化,研究人员采集到的数据并不反应样品的真实结构。基于对成像过程的建模,这种图像退化可以通过去卷积部分恢复,从而提高图像分辨率和对比度。对于荧光显微镜,图像通常受泊松噪声影响并被点扩展函数退化,因此成像模糊过程可以通过真实物体与点扩展函数的卷积来进行模拟,如下式:

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

其中,i为采集到的图像,o为目标样本,h为系统点扩展函数。此时,理查德森-露西去卷积(Richardson-Lucy deconvolution, RLD)可以通过迭代的方式获得去模糊的样本估计。

此外,去卷积算法还可以用来融合同一样品的多个不同视角图像,这些图像经过配准后进行联合去卷积,经过反复迭代对样品图像生成一个总的最大似然估计。然而,为了得到满意的结果,RLD通常需要十几甚至更多次的迭代,这也意味着需要大量的计算处理时间,对于点扩展函数模糊随着空间位置变化而改变的图像,或者大型多视角数据的处理甚至可能需要几天,远超数据采集时间。RLD的迭代更新公式如下:

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

其中有两个重要元素,分别是前向投影算子和反向投影算子,和分别是目标物体o在第k次和第k+1次迭代的估计结果。一般使用显微镜点扩展函数,用来实现目标物体与模糊采集图像之间的投影。在传统RLD中,一般取为的转置,此时它们称为匹配的前向/反向投影算子。

然而,这并不是的唯一选择。在医学图像重建领域中,一个非匹配的反向投影算子可以加速去卷积的迭代过程,当和特征谱的乘积结果更平坦的时候,迭代过程能加速趋向收敛的重建结果,所需迭代次数急剧减少。研究团队首次将这一理论应用于荧光显微镜去卷积中,设计出了三种不同的反向投影算子,分别是高斯反向投影算子(Gaussian)、巴特沃斯反向投影算子(Butterworth)、维纳-巴特沃斯反向投影算子(Wiener-Butterworth)(图1)。

特别是提出的维纳-巴特沃斯反向投影算子,对于论文中多种显微镜数据都实现了只需一次迭代就能收敛,不仅对RLD实现了十几甚至几十倍的加速,还可以避免迭代标准的选择。

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

图 1非匹配反投影算子可以减少理查德森-露西去卷积需要的迭代次数。a)瞬时结构光照明显微镜前向投影算子在空域和频域的横向和轴向切片。b)多种反向投影算子在空域和频域的横向和轴向切片,以及与前向投影算子在频域乘积得到的特征谱。c)使用不同反向投影算子对瞬时结构光照明显微镜成像的线粒体图像进行去卷积结果,可以看出维纳-巴特沃斯反投影算子仅需一次迭代就可获得传统匹配反投影算子15次迭代的效果。d) c中结果的局部放大图。a和b中scalebar在空域和频域分别为1 mm和1/100 nm-1。c和d中scalebar分别为10 µm和1 µm。

其次,研究团队利用图像处理单元(GPU)尝试减少配准和拼接三维样本多个视角图像所需的时间。对于多视角数据的后处理,使用维纳-巴特沃斯滤波反向投影算子可以迅速减少联合去卷积需要的迭代数,此时进一步提高图像后处理速度的瓶颈转移到了图像配准的耗时上。

研究团队将基于CPU的图像配准算法改进并应用到GPU上,实现了并行操作,配准问题被分解成更小的任务,分配给GPU中的数千个线程进行并发运算。

这就像有100道数学题,原来要求一个人解决这所有的题,而现在可以将这100道题分配给100个人,每人各自解决一道题。此外,在进行复杂的3D图像配准前实行了一个初步的2D配准,实现了更快更稳定的表现效果,从而实现了30-175倍的配准提速。与当下前沿的elastix和NiftyReg 等配准工具相比,文中提出的配准方法在保证配准质量的同时,有了十几倍的速度提升。

针对毫米级大型透明组织成像,研究团队开发的双视角组织透明光片显微镜(diSPIM)虽然能够快速采集到亚微米分辨率级别的原始图像,但由于单个图像尺寸过大,难以用单个GPU直接对整个图像实现配准和去卷积。针对这一问题,研究团队提出了一个针对太字节(TB)尺寸的单个3D图像的处理流程:将原始3D图像切分成子块,每个子块进行配准和去卷积,最后将处理后的子串进行拼接,最终形成各向同性的亚微米分辨率的大型三维图像(图2)。

我国自主研制高能离子注入机成功实现百万电子伏特高能离子加速

【天富平台最高奖金】【天富平台最大股东】

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

图 2 小鼠脑组织(4 x 2 x0.5 mm3)透明成像的三维图像,Scalebar依次为500 µm,100 µm,30 µm,10 µm。

最后,对于一些新型的显微镜,比如反射式diSPIM和反射式格栏光片显微镜(latticelight-sheet) 等具有空间变化的点扩展函数,虽然维纳-巴特沃斯反投影算子能够获得10-15倍的迭代加速,但是去卷积的时间仍然超过了图像采集时间。为了进一步加速图像复原,研究团队探索了深度学习网络的应用,并设计了一种基于3D全卷积结构的网络模型DenseDeconNet(图3)。

使用深度学习网络,通过利用已有的去卷积结果作为标签、采集到的一个视角或者多个视角的图像数据作为输入训练DenseDeconNet,学习了标签和输入之间的去卷积关系。DenseDeconNet主要包括三个稠密连接块,采用了一种参数高效利用的方式,直接对3D图像块进行分辨率各向同性的恢复,与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比,进一步实现了50倍的加速。

《【天富平台代理奖金】浙大等提出成像新技术:让荧光显微镜处理效率最高提升上千倍》

图 3 用于去卷积的DenseDeconNet结构

本文中,NIH的Hari Shroff博士组织协调了20多个研究单位共同参与上述优化算法的应用研究,对单细胞、秀丽隐杆线虫胚胎、斑马鱼胚胎、小鼠组织等尺寸由微米级至毫米级的大量数据进行效果验证,涉及包括共聚焦显微镜、结构光照明显微镜、多视角光片显微镜、新型的双视角组织透明光片显微镜和格栏光片显微镜等七种不同类型的显微镜,最终实现了几十至上千倍的图像后处理加速。毫无疑问,这些优化算法可以加速基于图像的生物观察,为现代新型荧光显微镜的研究提供了更多可能。团队的后续工作包括实现更快的大数据读取、存储、并行处理和三维可视化,以及构建更加有效、通用的去卷积人工神经网络。

浙江大学光电科学与工程学院的博士生李玥和NIH的郭敏博士为论文的共同第一作者,NIH的吴一聪博士和浙江大学的刘华锋教授是本文的共同通讯作者。

研究背景

作为生物研究领域中不可缺少的重要工具,荧光显微镜具有高对比度、高分辨率、蛋白分子特异性成像的特点,使生物特定结构和功能的研究得以实现。

随着荧光显微镜技术的不断发展,它们的成像性能变得更加优越,能够快速地获取更多更高分辨率的图像,有时候只需点击一个“开始”的按键,就能采集GB级别,甚至TB级别的图像数据。与此同时,研究人员发现自己面临着一个新的挑战——他们没有足够的时间去处理他们所拥有的数据。

虽然大量的数据可以在几分钟内就采集完成,但是这些数据的后处理,比如对提高图像分辨率和对比度最为关键的去卷积和多视角图像融合,通常需要数周甚至数月的时间。因此数据后处理,或者说计算能力,一直限制着研究人员对某些先进显微成像技术的选择,因为他们知道,他们收集的大部分数据由于不能得到及时的处理而将被闲置。

这就无异于在一个源源不断生产诱人食物的工厂中,人们只能取出他们迫切需要的食物,而更多的食物将被浪费。如何提高图像后处理的效率,是迈向更快更好生物观察能力的重要一步。

文章来源: BioArt

【天富代理网站】【天富代理网址】

点赞