All-optical synthesis chip for large-scale intelligent semantic vision (opens in new tab)

(x,y)E fiber ∗

(x,y)dxdy∣ 2

这个公式证明了，只有符合特定空间分布的光（即特征明显的基模）才能通过，杂乱的高阶光被物理积分掉了。这就是物理层面的*“非线性激活”和“降维”*。 最终选了 10×1010 \times 1010×10 (100维) 的光纤阵列。图S11展示了关于维度选择的消融实验。

引入波动 (Fluctuation) 光耦合进光纤时的复杂场分布极其敏感，为生成模型提供了必要的波动。为了生成一张新的图片，系统内部必须有一定的“随机性”或“概率分布”。在电子计算机里（如 VAE），是用数学公式（高斯采样）来模拟这种随机性。在 LightGen 里，光纤耦合的过程本身就提供了这种波动。 流形学习 (Manifold Learning) 图 2D, 2E）证明在这个光潜空间里，具有相似语义的图片（比如白背景的狗、户外的狗）会自动聚在一起 。说明光信号理解了语义而非像素堆砌。 3.3. 训练算法 (BOGT) 对生成式AI, 没有标准答案，物理也是不可导的。 提出了一种基于贝叶斯的训练算法 Bayes-based algorithm for Optical Generative model Training (BOGT) 。 学习概率分布，而非对应关系。 计算特征分布 Q(Z∣X)Q(Z|X)Q(Z∣X)，并用 KL 散度 (Kullback-Leibler divergence) 来约束。强制要求光经过 OLS 出来的特征分布，必须接近我们要的一个标准分布

损失函数 LLL 由三部分组成 ： L=αlKLD+βlmse+γlopL = \alpha l_{KLD} + \beta l_{mse} + \gamma l_{op} L=αl KLD

+βl mse

+γl op

lKLDl_{KLD}l KLD

  (KL散度): 这是核心。强迫 OLS 里的光强分布接近一个 “截断偏置高斯分布” (Truncated Biased Gaussian)。 普通 AI 用的是标准正态分布，但在光学里，光强（Intensity）永远是正的，不可能是负数，所以我们修改了数学模型来适应物理现实 。

  (均方误差): 保证生成的图和目标图在像素上是接近的。

  (光学惩罚项): 这是一个工程技巧。它防止光在传播过程中变得太强（烧坏器件）或者太弱（被噪声淹没），保证每一层的光能量都在探测器的最佳工作范围内。

训练： 用 BOGT 算法在这个数字模型上跑，不断调整虚拟衍射层的相位参数。

制造： 一旦电脑上的模型学会了生成高质量图像，我们就把这组最优的参数“冻结”，通过光刻技术一次性刻蚀到真实的芯片上。

通过“数字训练，物理推理”的方式，规避光芯片难以实时更新参数的弱点。

4. 实验结果 (Experimental Results) 生成任务展示：图 3A (生成)，图 3C (去噪)，图 3E (风格迁移)。

图 3A 和 3B。高分辨率直出，LightGen 最直观的能力就是生成了 512×512512 \times 512512×512 像素 的动物图像。以前的光计算受限于输入输出端口，通常只能处理很小的图，或者要把大图切成 7×77 \times 77×7 甚至更小的碎片（Patches）去分别处理，那样生成的图像会有明显的拼接缝隙 。LightGen 用了 3D 封装，能直接生成整张大图，没有拼接缝。从放大细节中清晰地看到猫狗的毛发纹理、眼睛里的反光 。这说明光信号在衍射过程中不仅保留了轮廓，还还原了高频细节。额外利用电子神经网络（CNN）去识别这些生成图，分类准确率和真实的动物数据集（AFHQ）几乎一样高 ，说明生成的特征计算机可信。

图 3C, 3D 给图像加上了严重的噪声，LightGen 利用单模光纤过滤杂波的特性，物理上去噪，还原出了清晰的连笔字 。图像中的噪点（Noise）通常表现为高频杂波，对应到光场中往往包含大量的高阶模。因为这个特性，通过 OLS 就会只有核心的语义信息（基模）传了过去。生成器接收到的是干净的信号，自然就还原出了清晰图像 。

图 3E, 3F, 3G：输入一张苹果的简笔画，可以让它变成“梵高风”或“金属风”。对比了“分块处理（Patched）”的方法，分块处理的方法导致笔画断裂，而 LightGen 处理的图像线条流畅，结构完整 。设计了一个通用的编码器 (Encoder)，用来提取内容特征，设计了多个不同的生成器 (Generators)，每一个生成器对应一种画风。可以控制光路，让携带图像特征的光信号进入不同的物理区域（不同的衍射通道），从而经过不同的“风格化处理” 。有点像现在的 MoE (混合专家模型) 或者 Adapter 模式。Backbone 不动，根据任务需求（Prompt），把数据路由到不同的 Head 或 Adapter 去处理。 在这里插入图片描述 图 4E (语义操控) 用 KL 散度约束了分布，所以在潜空间里，稍微改变一点点数值，生成的图像也是渐变的。能够进行解耦，算法自己学习分布和对应的光斑。 训练 LightGen 去理解 3D 物体(椅子)，可以像 NeRF（神经辐射场）一样，生成同一个椅子在不同角度的样子。4E 中改变椅子的部分特征，在输入端（通过 SLM）微调光信号，改变 OLS里的某几个光斑数值（对应图中的柱状图变化），意味着 LightGen 真的理解了“扶手”这个概念对应的光信号，实现了特征的解耦。

在这里插入图片描述 最后与电子芯片（ NVIDIA A100）进行了对比，计算速度、能效比都比电子的快/省电 2 个数量级，体积极小，算力极大。

对于同类任务的变化（如 3D 旋转）： 靠输入端的 SLM 动态调节 OLS 里的光斑（Latent Code）。

对于跨任务的变化（如换画风）： 靠物理上的光路切换，复用 Encoder，切换不同的 Decoder 模块。

对于去噪： 直接利用了单模光纤的物理截止特性。

5. 结论与讨论 (Conclusion & Discussion) LightGen 光学芯片。目前 AI 需要的算力时间都很大，光子计算有能力承担，之前的光芯片只能做简单的选择题，通过 LightGen 将芯片堆叠，有百万级别的神经元，能处理高分辨率大图。利用光纤的物理特性，能够压缩信息和提取特征。无需传统的监督计算而是学习概率分布去理解语义特征。

6. 主要贡献总结 (Summary of Key Contributions) 3D 封装与集成规模。使用了 3D 封装技术，在136.5 mm2mm^2mm 2 塞进了超过 200 万个神经元 。 光学潜空间 OLS，由于光的特性很难把一张大图的几百万个像素压缩成几个关键的“概念”，设计了一种基于单模光纤阵列的结构，过滤信号，提取特征。 速度快，能量消耗少。 7. 补充材料 在这里插入图片描述光路搭建 (The Setup): 光源： 用的是 532 nm（绿色） 的单模激光器 。 输入端：空间光调制器 (SLM)。用它来把数字图像（比如猫的照片）转换成光的振幅分布，打入芯片 。 接收端： 输出的光信号直接被一个 sCMOS 相机 接收 。

芯片微纳制造 (Fabrication): LightGen 的核心——衍射超表面，是用 JGS1 石英玻璃 (SiO2SiO_2SiO 2

) 做的。它的热膨胀系数极低 (5.5×10−75.5 \times 10^{-7}5.5×10 −7 )，即使温度变化 100∘C100^{\circ}C100 ∘ C，芯片变形也只有 0.006%，保证了光路极其稳定。采用了 8 阶光刻工艺 (8-level lithography)。每一个光神经元（Pixel）的大小是 3μm×3μm3 \mu m \times 3 \mu m3μm×3μm。把光的相位变化（0 到 2π2\pi2π）切分成 8 个台阶高度，每个台阶高度差 150 nm。

工程领域最关心的问题：该芯片是只有在完美模拟中能跑，还是真的造出来也能跑？

量化效应： 理论上的相位是连续变化的，但制造时只能切成 8 个台阶。图 S18 (Fig. S18) 展示了对比：虽然相位的微观结构变了（S18B 和 C），但最终生成的图像（图 S18D）几乎没有肉眼可见的区别 。这证明设计对制造精度有很好的容忍度。 对准误差：图 S19 (Fig. S19) 做了一个极端的测试。故意把衍射层移歪了 10%、30% 甚至 50% 个像素。虽然生成质量（PSNR）下降了，但通过重新训练 (Retrain) 后面的层，性能可以几乎完全恢复（从 13.80 dB 恢复到 16.05 dB）。 关于算力 (TOPS) = 操作数 ÷ 时间 的计算。

100倍速+100倍能效!中国LightGen全光AI芯片问世,性能碾压顶级NVIDIA芯片... 3D 结构突破集成极限:传统 2D 硅基芯片的晶体管集成密度已接近物理极限,而 LightGen 的 3D 堆叠结构可将超 200 万光子神经元分层堆叠,在相同空间内实现 100 倍算力密度提升,解决了 “高算力与小体积” 的矛盾; 光子神经元模拟人脑:人脑通过大量神经细胞同步交互实现信息处理,LightGen 的光子神经元正是模仿这一模 继续访问 深度解析:LightGen全光芯片的技术突破与开发者落地挑战 LightGen的输入输出模块采用全光设计:输入端集成光栅耦合器(耦合效率≥85%),将外部光信号耦合至片上 waveguide;输出端通过阵列波导光栅(AWG)实现多波长信号分波,再由光电探测器阵列(响应速度≥1GHz)完成光信号到电信号的最终转换(仅输出端转换,避免中间转换损耗)。 硬件层面的限制需开发者关注:当前输入模块的光信号... 继续访问 Bang-Bang-All-Digital-PLL-for-Frequency-Synthesis. ### Bang-Bang All-Digital PLL for Frequency Synthesis #### 概述 相位锁定环（Phase-Locked Loop，简称PLL）是任何需要时钟信号的电子系统中的关键组成部分，在广泛的领域如高速串行I/O的时钟和数据恢复电路、... 最新发布 100倍速+100倍能效！中国LightGen全光AI芯片问世，性能碾压顶级NVIDIA芯片，开启可持续AI新纪元 上海交通大学与清华大学科研团队联合研发出全光 AI 芯片 LightGen，以光为信息载体，搭载超 200 万光子神经元，采用 3D 堆叠结构，在生成式 AI 任务中实现比 NVIDIA 顶级芯片快 100 倍、能效高 100 倍的突破。该芯片可一次性处理高清图像 / 视频等复杂任务，避免传统光芯片 “分片处理” 导致的质量问题，测试表现媲美甚至优于 Stable Diffusion 等顶级 AI 系统。目前 LightGen 仍处于原型阶段，下一步将推进规模化设计以适配更大模型，为可持续 AI 发展提供全 继续访问