援用超 85000 次的经典论文GAN 获 NeurIPS2024 时候磨练奖后，它的发源和背后故事也被抛了出来。

要从Yoshua Bengio 本质室的一次头脑风暴提及。

Bengio 召集本质室成员，提议了一个敷裕挑战性的设计：

教师一个笃定性的生成收集 g，该收集仅在输入 z 中包含随即噪声。这个收集的输出 x=g ( z ) 应该是从某个溜达 p ( x ) 中抽取的样本。输出不错是任何神气：图像、音频、文本。

朴直世东说念主都无端倪之时，一个在其时看似滑稽且险些无真义的目的揭开了 GAN 的序幕：

如果能有另一个神经收集充任判别器，会怎么？

作家之一 Sherjil Ozair，一边叙述着这段经验，一边还浮现曾有 DeepMind 磋议员向他开打趣，说他可能还是完成了最伟大的职责，不错径直退休了。

但他以为事实并非如斯。

CNN 嗅觉像是临了的发明，但并不是。

GAN 嗅觉像是临了的发明，但也不是。

LSTM、ResNet、DQN、AlphaGo、AlphaZero、MuZero 都并非闭幕。

Transformer 和大言语模子，亦不是临了的发明。

这项出自 Yoshua Bengio、lan Goodfellow 等一众大佬，援用超越 85000 次，被 NeurIPS2024 官方评价为"生成建模的基础部分之一，在以前 10 年中激励了许多磋议发挥"的磋议。

究竟是如何真金不怕火成的？

Sherjil Ozair 叙述背后故事

以下是 Sherjil Ozair 的好意思满自述：

相配自尊听到 GAN（生成造反收集）在 2024 年 NeurIPS 大会上赢得时候磨练奖。

NeurIPS 时候磨练奖是授予那些在十年时候里收受住庄重的论文。

"我"花了一些时候转头 GAN 是如何产生的以及以前十年中东说念主工智能的发展。

2012 岁首，当"我"如故印度理工学院德里分校的本科生时，"我"巧合发现了 Geoffrey Hinton 在 Coursera 上的一门深度学习课程。

深度学习其时是机器学习中一个边际化且小众的分支畛域，它承诺能已毕更多的"端到端"学习，况兼更接近东说念主类大脑的职责方式。

这门课相配精彩。它不仅很好地讲授了深度学习的旨趣，还充满了 Hinton 突出的英式幽默和非传统想维。

比如，他建议"咱们"这样可视化高维空间：

要处理 14 维空间中的超平面，假想一个 3 维空间，然后高声对我方说" 14 "，每个东说念主都是这样作念。

但请记取，从 13 维到 14 维的变嫌，其加多的复杂性与从 2 维到 3 维的变嫌相似大。

出于敬爱答允地想学习更多学问，"我"启动仔细磋议总计能找到的贵寓。

其时主如果一些了得磋议者发表的学术论文，比如Yoshua Bengio，其中好多都保存在他本质室的网站上。

2012 年，Quora 相配火爆，Yoshua 往往在 Quora 上回答联系深度学习的问题。

"我"真挚地感谢他匡助像"我"这样的本科生默契深度学习。"我"通过 Quora 筹划他，抒发谢忱。

令"我"相配惊喜的是，"我"不仅收到了求教，还收到了一份他本质室的实习邀请。

这是一次侥幸的重逢，而其时的"我"对此次相易和行将伸开的旅程的遑急性和影响力还只须少许点微辞的刚毅。

"我"忠心性感激 Yoshua Bengio 为这个天下和为"我"所作念的一切。

"我"通过了口试赢得了实习契机，2014 年夏天，将在 Yoshua 的 LISA 本质室实习。

本想 2013 年就实习的，但印度理工学院的轨制要肆业生必须在第三学年的暑假在他们认同的公司实习。

2014 年 5 月，"我"飞抵蒙特利尔，来到了本质室。

刚见到 Yoshua，他就立马把"我"拉进了一个房间，内部坐着的还有 Ian Goodfellow 和 Aaron Courville。

Yoshua 持续讲授着他最近一直在想考的一个新目的：

设计构建一个笃定性的生成收集 g，只在输入 z 中包含随即噪声。这个收集的输出 x=g ( z ) 应该是来自某个溜达 p ( x ) 的样本，不错是任何神气：图像、音频或文本。

他强调这等于"咱们"需要教师的指标。

但怎么教师呢？在这种"隐式"收荟萃，概率 p ( x ) 并莫得明确抒发。

他提议应该对生成器的输出（生因素布）和某个样本数据集（不错是图像、音频等）进行"双样本溜达匹配"。

但如何进行这种溜达匹配仍然不解确。

四肢一个年青机动的本科生，"我"提议了矩匹配，但"咱们"都知说念矩匹配可能无法应酬高维数据。小组里也商榷了其他目的，也都嗅觉不够有劝服力。

不外，Yoshua 对教师一个笃定性的、破费噪声并产生样本的生成神经收集的愿景和眷注令东说念主印象深入且敷裕启发性。

团队决定擅自持续想考这个问题。

在 Les Trois Brasseurs 餐厅的一次本质室聚餐中，Ian Goodfellow 一忽儿意象了一个在其时看似滑稽且险些毫无真义的见地：

如果让另一个神经收集来充任判别器会怎么？

这是一个开采前沿的时候。

其时，神经收集的教师还颠倒"原始"。时时作念法是：

建筑一个主神经收集，输入数据，得到一个瞻望收尾，对其利用一个数学失掉函数，然后使用梯度下落来优化这个收集。

而 Ian 的目的例把失掉函数自己设计成一个可学习的神经收集。不是优化一个固定的数学失掉，而是用另一个"判别器"神经收集来提供失掉值和梯度，用于教师"生成器"神经收集。

这个目的当然招致质疑。总计这个词系统会不会崩溃到退化输出？判别器从何而来？处处都是先有鸡如故先有蛋的窘境。

但 Ian 对此也早有腹案。他提议让判别器和生成器在一个零和博弈中造反：

生成器试图产生与果真数据"难以折柳"的输出，而判别器则要设法分辨看到的是生成样本如故果真样本。

也许这能行？第二天，本质室总计成员都收到了一封邮件。

在一个充斥着编程和运行本质的永夜，Ian 告捷让第一个生成造反收集运行起来。

这些是在 MNIST 数据集上产生的第一批样本。

其时"我"正在磋议近似的东西，用非神经收集判别器进行教师，但收尾远不足预期。

于是"我"决定转而匡助 Ian 磋议 GAN。距离 NeurIPS 2014 的提交规定日历只须一周了。"咱们"决定任重道远，应该能赶上提交一篇论文。

在接下来的几天里，"咱们"设立了评估花样来与现存的生成模子进行相比，尝试了不同的架构、噪声函数和博弈公式。

Jean、Yoshua 和"我"发现 GAN 博弈是拘谨的，况兼在均衡情状下最小化了 Jensen-Shannon 散度。

"咱们"坚执了下来，在临了一周完成了总计职责，并提交了一篇论文到 NeurIPS。

GAN 被接收为海报展示论文（posted presentation）。

"我"记安妥然公共都很答允，但也都知说念 GAN 的教师动态相配不清晰。大部分伙同者启动磋议其它模子架构，试图处治在 GAN 中发现的问题。

GAN 在 12 月份进行了展示，却基本上莫得引起提防。

几个月后，2015 年 8 月，Alec Radford启动发布他一直在磋议的卷积 GAN 的样本。

没错，等于阿谁险些参与了 OpenAI 总计要紧冲突的 Alec Radford。2015 年，他正在磋议卷积神经收集、批量归一化和 GAN。

"我"无法十足展现 DCGAN 之后 GAN 引发的庞大关注。

但"我"想强调的是，GAN 的演进经过被悲不自胜地用来标志 AI 合座的跨越。

这张展示图像生成惊东说念主发展的图片还是过期了，因为当前的图像生成模子还是能生成百万像素级的图像，以致不错生成视频。

至于"我"个东说念主的故事，GAN 四肢"我"的第一篇学术论文既是福亦然祸。一位 DeepMind 的磋议员曾开打趣说，"我"可能还是不错退休了，因为"我"可能还是完成了我方最伟大的职责。

然而"以为历史还是闭幕"可能是 AI 畛域最大的失误。"咱们"老是倾向于以为"等于这个了，这是临了的发明"。但事实从来都不是这样。

CNN 也曾嗅觉像是临了的发明，但并不是。

GAN 也曾嗅觉像是临了的发明，但并不是。

LSTM 也曾嗅觉像是临了的发明，但并不是。

ResNets、DQN、AlphaGo、AlphaZero、MuZero 都不是临了的谜底。

回偏执来看，这些目的老是显得很滑稽。然而想想当前，Transformer 和大言语模子被以为是临了的发明。

但它们也不是。

"我"最近离开了前沿 AI 本质室的圈子，启动创办一家公司来构建一些委果令东说念主咋舌的东西。"我"很快会共享更多联系信息。敬请关注。

感谢 NeurIPS Conference 授予 GAN 时候磨练奖，也感谢这些造反者们：Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Aaron Courville、Yoshua Bengio

也为 Seq2Seq 论文作家们暗示祈福。

Ian Goodfellow 开麦

Mehdi Mirza 将这段经验共享出来后诱导到不少网友围不雅，网友们看得有滋隽永：

没意象论文一周就写出来了。

好一段精彩的历史转头！在" Attention is all you need "之前，GAN 才是主流。

GAN 论文一作 Ian Goodfellow 也情怀开麦：

如果你是阿谁期间的亲历者，值得一读以怀旧；如果你不是，也能通过这些翰墨一窥当年的情形。

对于 GAN 论文的更多细节，不错点击这里搜检：。

参考联接：https://x.com/sherjilozair/status/1864013580624113817

—  完  —

点这里� � 关注我，谨记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿发挥日日相见 ~