2024 年诺贝尔物理学奖的两位获奖者 John Hopfield 和 Geoffrey Hinton 最近在斯德哥尔摩大学发表了最新的演讲。
现场的氛围杰出强烈!
看到 Hopfield 教师即使借助手杖也躬行到达现场发表了演讲,Hinton 教师也忍着腰痛专程飞到瑞典,让不雅众们杰出敬佩。
在此次看成中,John Hopfield 教师的演讲主题是"物理学是一种不雅点",敷陈他个东说念主的科研履历和作念科研的念念考模式。
他爽快了许多对于科研和对物理的想法:
怎么采用问题是科研效果的关节身分
大脑是怎么产生念念想的,这对我来说是东说念主类最隐讳的问题
我认为物理学有助于联结东说念主类和寰球
Geoffrey Hinton 教师则用阳春白雪的形势敷陈了Hopfield 采集和玻尔兹曼机器的旨趣与发展,全程莫得用一个方程式。
当咱们最终了解了大脑是怎么学习的时分,我信服寝息的作用一定诟谇常蹙迫的,对此我杰出乐不雅
两位教师放手演讲时,台下的不雅众亦然忍不住齐站起来向他们饱读掌问候。
以下是现场演讲骨子,在不窜改得意的情况下,量子位对部分篇幅作念了休养。
John Hopfield:物理学是一种不雅点
约翰 · 霍普菲尔德于 1933 年出身于芝加哥,1954 年在威廉 · 莫尔学院获取第一个学位,1958 年在康奈尔大学获取博士学位。1964 年,他被任命为普林斯顿大学物理学教师,1980 年景为加州理工学院化学和生物学教师,之后他回到普林斯顿大学,现在是分子生物学名誉教师。
(以下为 John Hopfield 教师发言)
我的第一份全员责任是在比尔电话公司发明晶体管的实验室,我加入了一个六东说念主小组。初入实验室时,我在新办公室掀开竹帛期刊,参不雅库存室获取文具后,念念考着下一步责任。
在科研中,无数东说念主常鲁人持竿,很少潜入念念查验究地方的采用,而这正是科研效果的关节身分。我在科研中撰写了 40 余篇论文,几年前酿成的责任基础最终发展成霍普菲尔德模子,有关不雅点源于对赶快事件的分析。
我成长于物理学家家庭,自幼受物理学不雅念教悔,心爱探索事物旨趣,如拆解自行车、进行化学实验等,这让我大约联结复杂系统运作。上高中时,化学老非敦厚常出色,物理敦厚却对电磁学旨趣联结不及,这影响了我大学专科采用,但最终我决定在斯沃斯莫尔学院专注物理。
参预物理学商榷生院后,我在康奈尔大学学习,时代与 Albert Overhauser 配合,从他的商榷列表中采用晶体中激子发射寿命有关问题,开启商榷。获取博士学位后,我在表面小组任职,后结子化学家 David G. Thomas,成立表面实验定约,取得效果并获奥利弗里 · 巴克利固体物理学奖。
之后,我在商榷中遭遇瓶颈,前去剑桥大学寻找新地方,回普林斯顿后担任半导体组照拂人,战斗到血红卵白有关实验,为我从凝合态物理转向生物物理提供机会,我也受 Linus Pauling 不雅点启发商榷卵白质合成问题并取得效果。
1974 年论文影响我对生物知识题的商榷念念路,促使我念念考神经元采集特色等。1977 年在哥本哈根举办研讨会后,我寻求跨学科冲突,受邀参加神经科学会议,天然其时一无所知,其后加入技俩获取神经生物学灵感。
1979 年,我转任化学和生物学教师,发现了学科关联,建议新蓄意观点并撰写论文,该论文鼓吹了有关规模发展。
其后,我发现霍普菲尔德模子采集问题,2015 年与他东说念主配合建议密集渴望系念模子,盼愿鼓吹东说念主工智能发展。
我杰出尊重各个规模的群众,积极参与跨学科互动,我认为物理学有助于联结东说念主类与天地。
Hinton:Hopfield 采集与 Boltzmann 机的发展
杰弗里 · 辛顿,1947 年生于英国伦敦,获剑桥大学实验心情学博士学位,曾在爱丁堡大学从事东说念主工智能博士后商榷,在多所大学任职,现从事学术商榷,并在谷歌公司任职。
(以下为 Geoffrey Hinton 教师发言)
今天我将无谓任何方程式,向凡俗不雅众讲授 Hopfield 采集。
先来看一个二元神经元版块的小霍普菲尔德采集,其神经元间有对称加权攀附,采集全局情状是成立,成立有优良性(单位对权重总数),能量是优良性相背数,集聚合踏实于能量最小值。
霍普菲尔德建议用能量最小值对应系念,通过二元决议章程清算不完满系念,终了骨子可寻址内存。
特里 · 西诺斯基和我建议用采集构建感官输入证实,采集含可见和荫藏神经元,可见继承感官输入(如二进制图像),荫藏构建证实,能量代表证实锐利进度,咱们需要稚子量证实。
以线条画为例,有不同三维证实,咱们要让采集给出证实。
先将线条革新为线条神经元激活,线条神经元与三维旯旮神经元攀附,谈判感知光学身分让旯旮神经元互相羁系,还要依据图像线条攀附原则建设攀附,但愿通过耕作攀附强度使采集责罚两种替代证实。
这产生两个问题:一是幸免堕入局部最优的搜索问题;二是神经采集自动学习攀附的问题。
对于搜索问题,咱们通过使神经元有噪声责罚,有噪声神经元情状是二元的但决议具有概随便。
用荫藏神经元证实二进制图像时,在可见单位固定图像,赶快选荫藏神经元把柄输入决定其情状,捏续操作使系统达热均衡,此时荫藏神经元情状是均衡证实,采集学习正确权重使稚子量情状对应更好的证实,热均衡是系统踏实于概率散布(波尔兹曼散布),稚子量成立概率大。
玻尔兹曼机学习主义是使采集生成的图像访佛它感知到的实在图像,有简便学习算法,含叫醒和寝息阶段。
叫醒阶段固定图像于可见单位,让荫藏单位达热均衡后休养攀附权重,寝息阶段访佛作念梦更新神经元达热均衡后反向休养权重,该算法平均上能让采集生成图像历程访佛感知图像,波及对数似然梯度倡导,通过窜改权重使采集形态 wake 阶段看到的数据。
但玻尔兹曼机存在问题,权重变大时热均衡历程慢,天然想法很好但算法太简便,不错作念复杂的事情但速率受限。
其后我发现了受限玻尔兹曼机(RBM),其荫藏单位不互相攀附,叫醒阶段更新荫藏神经元更简便,寝息阶段有捷径虽不全齐正确但履行灵验。Netflix 公司即是用受限玻尔兹曼机结合其他步伐推选电影。
为构建特征检测器层可堆叠 RBM,将前一个 RBM 荫藏单位看成模式当数据给下一个 RBM,以此捕捉复杂有关性学习多组权重,堆叠后视为前馈采集可进行监督学习,这么运行化采集学习更快。因为采集已学习了数据结构,背面用于学事物称号相对容易,如识别物体方面。
One More Thing
就在演讲视频发布不久后,你懂的,LSTM之父又来搞事情了。
著名蓄意机科学家J ü rgen Schmidhuber发表推文称,Hopfield & Hinton 的 2024 年诺贝尔物理学奖是抄袭得来的。
J ü rgen 宣称,这两位教师重新发表了乌克兰商榷者 Ivakhnenko 和日本商榷者 Amari 在 20 世纪 60 年代和 1970 年代劝诱的步伐以过甚他技艺,且莫得援用原作家。
现在这一帖子在 X 上也曾获取了 2.1k 点赞、逾越 44 万次浏览。
有网友示意若是事情是果真,那将比剽窃更厄运:
不外也有网友以为这是 J ü rgen 吃不到葡萄就说葡萄酸的心情:
J ü rgen 还发表了一个驻守的技艺回报,列出了两位诺贝尔获奖者责任的存疑之处,感好奇瞻仰好奇瞻仰的一又友不错点击参考邻接 2 进一步阅读。
参考邻接:
[ 1 ] https://www.youtube.com/watch?v=lPIVl5eBPh8
[ 2 ] https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP
— 完 —
点这里� � 形态我,铭刻标星哦~
一键三连「共享」、「点赞」和「在看」
科技前沿发扬日日相逢 ~