一个用于像差校正的3D摄影的集成成像传感器

　　元影像传感器是在现有的CMOS传感器上构建的，该传感器具有振动的编码微芯阵列（MLA）在光敏感区域前的粘结，如图1A所示。对于概念验证系统，我们选择了一个48百万像素CMOS传感器（CMOSIS CMV50000，7,920×6,004像素）使用耀斑48M30-CX摄像头（IO行业）进行高通量检测。传感器的像素大小为4.6μm，整个FOV的最大帧速率为30 Hz。MLA的音高尺寸为69μm，可匹配15×15传感器像素的大小，对应于225个角度测量。由于用于实验的大多数镜头的F数为10左右，因此我们选择了MLA的焦距为690μm，导致MLA后局部焦平面的500 nm波长的衍射极限为5μM。还可以为带有较大数值孔径（NA）的相机镜头选择MLA的较小焦距，以景深成本。 　　与成像晶状体的衍射极限相比，每个微片的光圈大小应足够小，以便在图像平面处引入衍射效应以进行频率混叠，这可以避免由于角度采样的瞳孔分割而导致的分辨率降级（扩展数据图1）。与以前的扫描光场方法不同，每个Microlens33的矩形孔径具有矩形光圈33，我们覆盖了每个正方形微片上具有圆形图案的铬膜，以确保仅通过圆形孔径通过每个微圆柱，而不是微孔的周围环绕微孔的周围环。圆孔的直径也为69μm。然后，每个微芯上的圆形光圈可以减少不同视图的光传递函数中的空孔，这对于无伪影的无伪影重建通用成像应用至关重要，而没有稀疏的荧光成像中稀疏应用（扩展数据图1D）。然后，我们比较了在数值模拟中具有和没有圆形模式的结果，证明了编码衍射模式的有效性，以消除致密结构的重建伪像（扩展数据图1E – G）。 　　然后将编码的MLA固定在压电阶段（P16XY100，Coremorrow），这有助于准确的周期性扫描，以增加高速下空间 - 角度测量的空间采样密度。扫描过程可以涵盖所有空间信息，并在相邻的微胶片之间创建虚拟重叠，以解决ISA的频率混乱问题，类似于Ptychographic Process44,45。由于应将CMOS芯片的光敏区域放在MLA的后焦平面以最大化田间的深度46，因此我们卸下了芯片上方的所有玻璃。为了在光敏区域的前面准确修复MLA约690μm，我们使用线性翻译阶段（DHC，GCM-V25M）来微调轴向结构域中的压电阶段，并确定当相邻微杆后使用的摄像机镜头稍微降低了fine for a forn apt forth a forth a forth a forth a forth a forth a forth a prect p y compact p y compact（py）。对齐过程中MLA的螺距和偏航，因此MLA可以与CMOS芯片平行，以在大型FOV上进行均匀的性能。最后，将所有这些设备与良好的热量散热一起紧密包装，以用作单个元影像传感器。 　　我们的元图像传感器有四种不同的扫描模式，该模式是通过以不同的周期移动MLA来创建的：1×1、3×3、5×5和15×15。更长的周期对应于具有较高空间采样密度的较小的较小的移位间隔。MLA的最大位移小于Microlens的音高大小。我们使用1×1扫描来捕获传统光场摄像机的测量值。进行了密集结构的数值模拟，以显示不同扫描期的影响（扩展数据图2）。我们发现，就结构相似性指数度量（SSIM）而言，重建性能以5×5的周期达到收敛。因此，我们在大多数实验中使用5×5来减少扫描过程中的运动伪像。 　　元图像传感器的硬件同步分为三个阶段，并使用多功能I/O设备（USB-6363，National Instruments）获得。首先，我们触发了压电阶段以将MLA转移到下一个位置。然后，我们在触发相机曝光之前设置了一段延迟期，通常持续5 ms才能等待压电的运动。最后，将CMOS芯片触发触发。CMOS芯片的读数时间可以与延迟期重叠。 　　对于所有实验，将元成像传感器直接放置在现有光学系统的图像平面上。我们使用了相同类型的CMOS芯片，以进行元模拟传感器和位于相同位置的传统2D传感器之间进行公平比较。对于具有多站点DAO的ISA，通过元影像传感器获得的原始图像通过相同的数据处理管道，包括预处理（像素重新调整，运动校正和初始全局畸变估计），不同局部区域的波前估计，以及Incorherent synthetic Aperture（扩展数据图3）。注意，对于特定的成像系统，只能进行一次最初的全局畸变估计。补充表1中说明了所有实验的详细成像条件，包括镜头类型，镜头规格，镜头规格，暴露时间，框架速率，扫描期和多站点DAO的块大小。 　　像素重组是将元图像传感器L（X，Y，T）的原始测量结果转换为高分辨率空间 - 角度测量VH（X，Y，Y，U，U，V，T）的主要预处理步骤。如图1b所示，每个微丝方之后的不同传感器像素对应于（u，v）的坐标的光或不同视图的不同角度，中央视图位于（0，0）。每个微丝方对与微杆的中心位置相对应的坐标为（x，y）的局部空间区域。由于物理尺寸限制，单场图像的最小采样间隔是微杆直径。扫描Microlens可以增加采样密度，并在相邻的微透镜之间产生虚拟重叠。然后，我们根据其相应的微片（x，y）的中心位置一起组装相同视图（U，V）的传感器像素，以获得高分辨率的空间 - 角度测量VH（X，Y，Y，U，U，V，T），示例间隔五次，比微杆直径小五次，用于5 i×5倍的扫描量。扫描周期的窗口大小的时间域中的滑动窗口可以保留元图像传感器的时间采样密度。在重新调整之前，还要调整原始光场图像并旋转，以确保每个微芯覆盖约15×15传感器像素。这样的纠正过程是为了校准由对齐和微芯制造引起的系统误差的必要条件，从而增加了框架的鲁棒性。对于5×5扫描光场图像，带有8,000×6,000的像素的5×5扫描灯场需要大约0.95 s，在台式计算机上进行了整流和像素重新调整，带有图形处理单元（CPU，Intel I9-10940x; Ram，128 gb，128 gb; gpu; gpu，nvidia geforce rtx titan）。 　　对于在元模拟传感器的扫描过程中移动的高动态样品，在像素重新调整后会出现运动伪像。在以前的扫描光场技术中，开发了一种时间加权算法，以消除运动伪像以空间分辨率降解为代价33。在这里，我们提出了一种基于光流的算法，用于运动校正，而无需通过利用自然界的时空连续性来降低时空分辨率。整个管道和伪代码如图4E所示，扩展数据图3D。我们发现，运动伪影源自从不同时间点捕获的不同光场图像的像素的不正确像素重组，因为这些微粒的实际空间采样位置随样品运动而移动。幸运的是，这些转变中的大多数仍然落在元图像传感器的广泛FOV中，因为物体通常在场景中连续移动。否则，传统成像传感器也很难捕获由于运动模糊而捕获动力学。只要我们可以准确估算样品运动，我们仍然可以通过准确的空间采样坐标从相邻框架中检索密集的测量。因此，我们基于光流图在像素重组期间分别对每个视图进行运动校正算法。对于样品引起的动作，我们使用从中央视图估算的相同的光流图（或所有视图中没有中央视图的最高清晰度的视图）。对于动态畸变引起的运动，应分别估算不同视图的光流图。Taking the scanning mode of 5 × 5 as an example, we apply a sliding window to synthesize the high-resolution image Vh(x, y, u, v, t) at the time point t from adjacent low-resolution images Vl(x, y, u, v, t + k − (T + 1)/2) (k = 1, 2, 3, …, T) （在Microlens直径的间隔下以低空间采样密度为单位）在扫描周期t = 25的情况下，而无需降低时间采样密度。为了在时间t时获得所有测量值的准确坐标，我们使用最先进的光流算法算法51来计算所有低分辨率图像vl（x，y，y，y，u，v，t+k - （t+k - （t+k - （t+1）/2）到低分辨率vl（x，t+k-（t+1）/2）到低点vl（x，x，t+k-（∆x，∆y），x，y，y，u，v，t+k-（t+k-（t）然后，高分辨率网格网格中低分辨率测量的相应采样坐标可以表示为： 　　最后，可以通过基于准确的致密采样坐标的这25个低分辨率图像中的散射插值方法52,53来获得无运动伪像的高分辨率图像VH（X'，Y'，U，V，T）。 　　对于湍流引起的运动，我们使用非刚性登记算法来估计光流，这是由于其平滑分布，这与系统像差估计的方法相同。5×5扫描光场图像大约需要45秒，像素数为1,000×1,000，以进行运动校正，并带有像素重新调整的运动校正，以使用图形处理单元（CP，Intel I9-10940X; RAM，RAM，128 GB，nvidia geforce rtx titan）。动态样品的结果验证了算法的有效性（图4F和扩展数据图8）。静态样品的结果表明可以很好地保留空间分辨率（图4G）。 　　由于固定了现有光学系统的空间非均匀系统畸变，因此我们通常对特定成像系统进行初始的全局畸变估计（扩展数据图3E）。它对于元影像传感器不是必不可少的。但是，它可以大大降低实际应用的计算成本，而无需纠正动态环境畸变，因为可以通过对任何场景进行足够的纹理成像，只能提前一次校准系统畸变。对于单镜头成像实验和工业检查实验，我们使用了一个大约200×200传感器像素的芯片板来估计全球非均匀系统畸变。The system aberration A(u, v, x, y)exp[jφ(u, v, x, y)] with coordinates (u, v) at the pupil plane can be divided into two parts including the pupil phase distributions φ(u, v, x, y) and pupil intensity distributions A(u, v, x, y), owing to the non-telecentricity of common imaging systems.在这里J是虚构的单位。对于在图像平面的不同局部区域（x，y）处的异差波前φ（U，V，x，y），可以通过差异（ΔSX（ΔSX，ΔSY）在不同的亚辅助区域的局部相位梯度（dφ/du，dφ/dv）= c（ΔSX，ΔSy）可获得VH（X，Y，U，V）到中央视图VH（X，Y，0，0）具有与系统放大倍数和传感器像素大小相关的常数C（图2B）。根据假设系统畸变在整个FOV中平稳变化的假设，用非刚性注册算法估算了差异。然后，可以通过以下积分来获得像差波前： 　　通过使用Adam Optimizer在Pytorch1.9.0中求解以下优化问题来实现非刚性注册算法： 　　其中||•|| 2对应于L2 Norm。对于优化期间的每个视图，我们在整个FOV上手动设置20×15×2的控制点，以将移位图与平滑分布拟合。 　　对于在不同局部区域（X，Y）处的像差强度A（U，V，X，Y），我们可以从角度强度分布中推断出瞳孔形状。实际上，我们平均在多站点DAO的固定块中平均不同视图的强度（请参阅补充表1）。然后，通过归一化阈值的角度强度分布来获得不同局部区域的像差瞳孔形状（可以获得相似的性能，范围为0.5至0.8）。这样的过程对于通用成像应用中的元影像传感器的ISA至关重要，因为大多数成像系统的大多数区域都不是遥不可及的，而主要射线并非垂直于图像平面。另一个例子是带有瞳孔强度调制的环结构的Cassegrain望远镜。所有这些信息都可以通过元影像传感器直接从光场的精确高维测量值进行估算。 　　一旦我们获得了全局的非均匀像差分布，它们就可以用作由环境动态（例如湍流）引起的进一步波前估计的初始局部畸变，或直接用于在条件下具有畸变校正的ISA，而无需纠正环境像差。对于5×5扫描光场图像，具有8,000×6,000的像素的5×5扫描光场图像大约需要450 s，才能在台式计算机上进行全球系统像差估算（CPU，Intel I9-10940X; RAM，128 GB； GPU； GPU，NVIDIA GEFORCE geforce rtx Titan）。 　　对于不连贯的光，我们只能检测到由于时间平均值而丢失的相位信息的强度分布。因此，当我们将瞳孔平面直接分割为不同的亚插曲以采样角强度分布时，由于高频信息的丢失，空间分辨率本质上会降低（扩展数据图1A）。幸运的是，我们发现在图像平面上的MLA尺寸很小，每个微芯尺寸都可以解决空间和角度分辨率之间的这种内在权衡。每个微芯上的圆形光圈在图像平面处的衍射极限大约十倍，为不一致的光场增加了附加的连贯性，从而保留了不同视图的光传递函数低频区域中的高频信息，类似于结构化的照明Microspopy54（扩展数据。图1）。扫描过程进一步增加了空间采样密度，以解决频率混叠问题并解开编码的高频信息。然后，这种额外的连贯性可以通过不同角PSF的方差反映出空间频域中不同重点的方差，可以将其与ISA55的相空间反卷积一起使用（扩展数据图3C）。此外，我们发现，周期性的圆形衍射模式可以通过减少光传递函数中的零值来消除具有致密结构的通用成像应用的重建伪像（扩展数据图1D – G）。 　　如图1D所示，光学畸变会使从同一点发出的光变成图像平面上的不同位置，从而导致空间分辨率降低，并对传统2D传感器的对比度进行了鲜明对比。通过捕获高分辨率的空间 - 角信息，荟萃成像传感器可以减少不同观点之间的相干串扰，并将光子放在远处的扩展深度内，从而比传统的2D传感器促进更好的差异鲁棒性，这比传统的2D传感器更重要，这对于在ISA中的差异估计和纠正很重要（在ISA中的差异和纠正都很重要。由于光学畸变通常在大型FOV上是不均匀的，因此我们可以将整个FOV平均分为小块，并以20个像素重叠（补充表1显示了详细的块大小）。我们假设每个块中的像差都是均匀的。然后，我们可以在不影响数据采集速度的情况下进行多站点的畸变估计和校正。最后，将具有多站点DAO的ISA之后的高分辨率图像缝合在一起（扩展数据图3C）。 　　对于每个局部区域，DAO过程分为两个部分：波前估计和ISA。当我们不需要纠正环境畸变或其他其他畸变时，可以通过使用直接通过最初的全局畸变估计获得的局部系统畸变来跳过波前估计来减少计算成本。为了进一步估算环境畸变，我们应用了乘数的交替方向方法（ADMM）方法56来迭代地更新畸变的波前φ（u，v）： 　　其中ii（x，y）是ITH迭代的中间重建图像，Nangle是由学生形状确定的有效角度的总数，而HI（X，Y，U，V）是与估计的异差A（U，V）Exp（U，V）Exp（Jφi（u，V）添加到psf（u，v）中生成的PSF（u，v）。根据Rayleigh -Sommerfeld传输功能，PSF生成功能PSFGEN（）如前所述。57。DECONV（A，B）是基于Hyper-Laplacian Prior58的最先进的快速反卷积方法，B的内核是B核的反卷积。Corr（）表示空间结构域中互相关矩阵的计算，以估算FindMax（）函数的横向移位，以找到峰值的坐标。对于异常的波前φ1（u，v）的初始值，我们可以将其设置为零，也可以将其设置为局部系统畸变φSystem（U，V）。在几何光学的先前DAO中，我们将畸变的影响简化为理想角psfs hi（x，y，y，u，v）的侧向移动的影响。但是，我们发现畸变还将影响编码MLA引入的不同观点之间的额外连贯性，从而导致PSF分布的变化。因此，我们通过基于ADMM方法期间每三个迭代的波浪访问模型来更新畸变的畸变，从而扩展了波启动模型中的DAO（扩展数据图3B）。我们使用Zernike多项式为45订单，以适合迭代过程中的异常相。对于迭代的收敛，我们将阈值设置为残余相的根平方（R.M.S.）的0.1波长。通常需要大约两次迭代才能与R.M.S.额外的波前融合。1波长， 以及带有R.M.S.的额外波前的十个迭代5波长。在台式计算机上，在5×5扫描光场图像上，在5×5扫描光场图像上，波前估计过程在5×5扫描灯场图像上大约需要32 s（CPU，Intel i9-10940x; Ram，128 GB; GPU，GPU，NVIDIA GEFORCE RTX TITAN）。 　　最后，每个局部区域具有DAO的ISA是通过相位空间反卷积获得的，具有估计的异常PSF。对于5×5扫描光场图像，通常需要9秒钟，在台式计算机上具有2,000×2,000的像素编号，带有图形处理单元，其规格如前所述。 　　进行了一系列数值模拟，以定量验证ISA的性能。模拟测量是通过与模拟PSF的地面真相图像卷积生成的。扩展数据图中使用的地面图像。1、2、4、5被带有高质量相机镜头的传统传感器捕获。模拟成像过程的参数与中心波长为525 nm的实验成像系统相同，放大倍数为10，而在1的物镜平面处的成像f-number（对应于图像平面上10的F-number）。为了模拟PSF和光传递函数，我们选择了1,000 nm的中心波长以简化（扩展数据图1）。添加高斯噪声以模拟CMOS传感器的读数噪声。我们使用峰值信噪比（SNR）和SSIM来评估重建结果。为了表征DAO的性能（扩展数据图4、5），我们根据R.M.S.最大Zernike顺序为45。残留波前误差和地面真实波前的峰值 - valley值显示了波前校正的性能。我们假设硬件自适应光学器件可以完美地测量畸变的波前，并使用最先进的基于倾斜的可变形镜像15×15个段的畸变，对应于元图像传感器的相同视图数量。硬件自适应光学器件的模拟结果是通过与残留瞳孔波前产生的宽视场PSF相应的卷积，并通过与异常的瞳孔波动板生成的宽视野PSF卷积，获得了传统2D传感器的模拟结果。 　　深层神经网络可以应用于进一步增强元影像传感器的成像性能，或通过先前利用数据来加速重建过程。尽管我们为所有实验使用了基于物理的优化算法来表征元影像传感器的性能，但我们已经测试了几个现有的神经网络，具有验证的模型，以显示其未来开发的巨大潜力。对于扩展数据中显示的图像超分辨率图10a – c，我们应用了两个单个图像超分辨率网络47,48及其各自的开源预训练模型。我们将元图像传感器的重建结果直接用作这些网络的输入，以表明荟萃成像传感器也与现有成像处理算法兼容，以便使用数据先前使用数据进一步提高性能。为了加速扩展数据中显示的运动校正过程图10d – g，我们使用了及其开源预训练模型的复发反向预测网络49。我们利用了中心视图的3×3低分辨率图像作为网络的输入，以获取没有运动伪像的高分辨率图像。尽管与通过我们的基于光学的运动校正算法获得的结果相比，网络的输出的空间分辨率略有减少，但该网络的推断比优化算法快29倍，这表明了应用深神经网络以加速元元元素 - 成像传感器的所有重建过程的潜力。 　　不同视图之间的差异为基于多视算体的深度传感提供了线索59。元影像传感器比传统的光场相机捕获了更好的分辨率的空间 - 角度测量，从而促进了高密度深度感测，更准确。为了显示改进，我们分别对传统光场和元模拟传感器的数据应用了相同的深度估计方法。我们选择了一种最新的深度估计算法，该算法专为在部分遮挡的区域上具有基于超级像素的正则化的光场设计。42。根据成像系统的几何参数，通过此方法获得的视差图转换为实际距离或厚度。为了评估深度估计的准确性，我们使用了商业焦点变化显微镜（InfiniteFocus G5plus，Bruker Alicona）43来测量图6中电路板的深度图的地面真相。通过扫描大量的商业系统，大约需要半小时的时间来捕获整个FOV。最后，在不同方法的重建结果与地面真实的重建结果之间进行准确的对齐后，计算了厚度误差。更重要的是，我们发现光学畸变将影响深度图的准确性以及基于视觉的深度感测，这在传统的成像系统中很难纠正。在这里，我们使用了通过最初的全局畸变估计获得的畸变图，以在深度估计之前扭曲不同的观点以进行几何校正。纠正畸变校正的结果比没有校正的结果更好（扩展数据图9C – F）。