人人初次完毕! 上海交通大学, Science+1!

北京技巧12月19日，上海交通大学集成电路学院（信息与电子工程学院）图像通讯与集中工程商讨所陈一彤课题组在新一代算力芯片界限取得紧要打破，初次完毕了扶助大界限语义媒体生成模子的全光贪图芯片，臆度商讨以“All-optical synthesis chip for large-scale intelligent semantic vision generation”（大界限智能语义视觉生玉成光芯片）为题发表于海外顶级学术期刊《科学》（Science）上。上海交通大学为论文第一作家和通讯作家单元，陈一彤助理训诫为第一作家及通讯作家。

商讨布景

跟着深度神经集中和大界限生成模子的迅猛演进，AI正往日所未有的速率校正全国。然则，界限爆炸式增长的生成模子带来超高算力和能耗需求，与传统芯片架构的性能增长速率已出现日益严峻的伏击缺口。

为打破算力与能耗瓶颈，光贪图等新式架构受到世俗心计。然则如传统的全光贪图芯片主要局限于小界限、分类任务，光电级联或复用又会严重马虎光贪图速率。因此，“如何让下一代算力光芯片能启动复杂生成模子”成为人人智能贪图界限公认的费劲。

商讨恶果

商讨团队初次提议全光大界限语义生成芯片LightGen，这亦然海外初次完毕的大界限全光生成式AI芯片，在单枚芯片上同期打破了百万级光学神经元集成、全光维度调遣、无真值光芯片西宾算法的界限公认瓶颈。

大界限全光生成贪图芯片LightGen

论文实验考据了全光芯片LightGen在高分裂率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控、去噪、局部及全局特征移动等多项大界限生成式任务。不再让电辅助光生成，而是让全光芯片齐备完毕输入图像、邻接语义、语义操控、生玉成新媒体数据的端到端历程，即让光“邻接”和“领悟”语义。

LightGen生成的采样图像示例

此外，LightGen摄取了极严格的算力评价圭臬，在完毕与电芯片上启动的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经集中相仿生成质地的同期，平直测量悉数系统端到端的耗时与耗能镌汰。实测标明，即便摄取较滞后性能的输入建立，LightGen仍可取得比较顶尖数字芯片2个和2个数目级的算力和能效进步。而若是摄取前沿建立使得信号输入频率不是瓶颈的情况下，LightGen表面可完毕算力进步7个数目级、能效进步8个数目级的性能跃升。这不仅平直体现了在不赔本性能情况下替换顶尖现存芯片能得到的弘远算力和能效进步，也印证了措置大界限集成、全光维度变换、无真值光场西宾等枢纽难点，全光片上完毕大界限生成式集中的重要酷爱。

论文同步被《Science》官方选为高光论文要点报说念。论文中提到，生成式AI正加快融入出产糊口，要让“下一代算力芯片”在当代东说念主工智能社会中信得过实用，大势所趋的是研发省略平直践诺实在全国所需任务的芯片——尤其是大界限生成模子这类对端到端时延与能耗极其明锐的任务。面向这一观念，LightGen为新一代算力芯片信得过助力前沿东说念主工智能开采了新旅途，也为探索更高速、更高能效的生成式智能贪图提供了新的商讨标的。

臆度商讨及论文信息

陈一彤

陈一彤博士永恒竭力于于光贪图界限的商讨，聚焦新一代算力芯片切实愚弄时的中枢科学难点问题，团队所提议的全模拟光电芯片ACCEL（Nature 623 (7985), 48-57），海外初次实考考据了复杂智能任务中光贪图的系统级算力优胜性，将光贪图芯片中的超高算力能效，无损地保留和接入复杂练习的数字社会中。2023年，所提议的PED (Photonic Encoder Decoder，Science Advances 9(7), eadf8437)光贪图架构，更被Science子刊认证为“海外首个全光生成集中（PED is the first demonstration of all-optical generative neural networks）”。基于上述商讨基础，LightGen打破性将全光芯片的适用范围拓展到了大界限生成式神经集中，并已与工业界互助开展愚弄推行。

上海交通大学集成电路学院（信息与电子工程学院）陈一彤助理训诫担任第一作家及通讯作家，翟广涛训诫、张文军院士、博士生孙心玥，清华大学硕士生谭龙涛、博士生姜一洲、博士后周银等均对本文作念出重要孝敬。该商讨得到了多项国度及上海市步地资助。