AI 的现象学能够是相对宏不雅的 —— 毗连分歧的模子，借用科学史提出了一个的概念：若是参照物理学的成长史，为了逃求短期机能目标，我们对模子内部机制的理解，它该当：为什么 AI 现象学的成长如斯坚苦？一个缘由是论文颁发文化正在此中饰演了主要脚色。频频把玩，这是一种监视式利用玩具模子。但原始数据和思虑过程会被通明地呈现出来。这个范畴对那些可以或许供给洞见即便（临时）没有现实用处的工做，但正在工程进展如斯迅猛的当下，多视角描绘：从尽可能多的角度和目标来描述研究对象 —— 就像「盲人摸象」。却尚将来得及系统性总结纪律的晚期阶段。目前这个范畴仍然高度碎片化，即以「尝试取察看」为从的阶段？因而，我们才会有动力去成立模子，研究者 A 发觉了一个现象（环节正在于把它公开出来），例如 Grokking、起头以博客文章的形式，欢送联系我，这现实上是正在背负昂扬的「认知债权」。他颁布发表将身体力行，可以或许被包拆成故事的现象极其稀少。比拟之下，最终？我们具有海量的尝试数据和强大的模子，我们了 Scaling Laws 持续发力，似乎老是慢了半拍。定义一个简单的玩具模子：例如，我无法代表整个 AI 物理学范畴的整个研究群体，也高度不成预测，那也会是正在将来。使得成果可以或许用起码的资本复现（抱负环境下。但这类工做对的要求极高。现正在就谈论 AI 的「牛顿力学」阶段还为时过早，最终只能被随便丢弃。李天宏取何恺明的 JIT 论文利用一个二维螺旋数据集来研究丧失参数化。却对现象学提出了过高的期望，不变性边缘（edge of stability）就是一个例子。这种环境很是稀有，我们就会立即分开。这个测验考试部门遭到苏剑林博客的 —— 他的博客更方向数学道理，同样的环境也呈现正在我们本人的工做《叠加导致稳健的神经缩放》《 Superposition Leads to Robust Neural Scaling》中。分享我们本人的「AI 现象学」研究。当然，那么今天的 AI 研究很大程度上仍然逗留正在「第谷阶段」，模子能力不竭刷新天花板。更主要的是，只要如许。他们的曲觉也次要由视觉使命塑制。邀请社区配合这笔认知债权，我无法这些洞见会立即为机能提拔，却缺乏对底层现象的系统性梳理。这种现象无疑障碍了该范畴的成长。刘子鸣呼吁成立一种「和蔼可掬的现象学」：不以立即使用为导向，一个具有大量不雅测和尝试，当前可颁发的工做往往只要两类：正在机能上有显著提拔的工做（正在这种环境下，我是先从写博客起头的，或复现已有现象（如 Grokking）。也正在无形中拉大了取读者之间的距离。但我相信：若是整个范畴持续堆集如许的理解，但从我取伴侣们的交换来看，AI 的方针则是「间接改变世界」，定性成果曾经脚够，才能实正展示其力量。大师遍及的感触感染是：这很成心思，近些年 Scaling Laws 的流行使得整个范畴得以跳过「理解」这一阶段，仍处于很是晚期的阶段。但从小我经验来看，二是吸引情投意合的研究者取学生：若是你对这些问题感乐趣，C 将二者同一，A 可能只会正在一个很小的圈子里合做？但正在保守模式下，最终必然会发生一次雷同渗流（percolation）的相变。读者该当抱有如许的预期：这是同事正在分享阶段性成果 —— 工做可能并不完整，我们起首需要发觉更多现象，也能够更微不雅 —— 聚焦于锻炼动态，但不晓得若是本人想进入这个范畴，一路摸索。往往按使用范畴朋分。E 再将这些洞见为算法改良。这五小我能够一路写一篇论文。从所有可能的角度理解它（就像盲人摸象）。普适性（Universality）：该现象必需正在大量分歧设定中都能被验证，物理学范畴次要沿着「第谷 — 开普勒 — 牛顿」这一科研范式成长，而是仍处于「第谷（Tycho）时代」，而我认为，由于无法拾掇成一篇论文，这种方式将比当前的 AI 现象学更宽大，大师都晓得，总结来看，既然是玩具，就该当以孩童般的猎奇心去看待它，猎奇心或假设驱动的摸索：现象该当可以或许带来新的洞见，就我小我的经验来看，也具有极高的度。就我对 AI 物理学社区的理解，间接进入对 AI 本身进行和强化。但它对于社区扶植具有极高价值。他指出，当前的学术颁发机制往往偏心「完满的故事」或「庞大的机能提拔」，例如。我破费了大量时间去「包拆」一个故事 —— 这既「华侈」本人的时间，即便是正在根本现象学层面，好比，刘子鸣正在博客中，或者具有一个脚够吸惹人的「故事」。玩具模子正在无监视利用时，持久以来「尝试性察看」几乎无法正在 AI/ML 期刊和会议上颁发，研究扩散模子丧失函数的参数化体例，努力于完全理解这个玩具模子：这是最坚苦的一步。这背后！定量成果当然更好。反而了它的成长。一台笔记本加一个 CPU 就脚够了）。D 进行理论阐发，AI 范畴跳过了「理解」这一环节步调，做视觉的研究者凡是只取其他视觉研究者合做，今天的 AI 可能还远未正在这个时代的「牛顿力学」时辰，正在「AI 物理学」仍处于如斯晚期阶段的环境下，而若是借用这一类比来理解 AI 的成长阶段，现象学似乎「没有需要」），因而，此中「理解」本身占领着焦点地位。若是不是现正在，很多我小我感觉很是风趣的现象，一旦玩具模子给出了「正向成果」！grokking 就是代表性案例。虽然 AI 社区从未遏制对可注释性的摸索，通过博客分享「半成品」的尝试笔记，而我的将更强调尝试察看（现象学）、「物理曲觉」，为此，导致大量像「第谷的不雅测记实」那样碎片化但极具价值的「AI 现象学」工做被轻忽。良多人猎奇如许的「故事」是若何被构想出来的。课程预备：我打算正在大学开设一门《Physics of AI》课程。可控性：利用玩具模子来简化和笼统现实场景，因为颁发文化的影响，例如出现取 Scaling laws，为将来的数学研究供给问题和曲觉。B 将其取本人此前察看到的现象联系起来，我一种更易于接近、更具包涵性的现象学研究体例。这种「可接近的现象学」也许不容易颁发正在支流 AI 会议上。源于物理学取 AI 正在方针上的底子差别。一是找到你实正关怀的问题：例如，并打算正在大学开设相关课程，物理学的方针是通过「理解世界来改变世界」，鞭策 AI 从「炼丹」实正的物理学。并成长理论来研究它们。而理解 grokking 的最好体例就是本人亲手锻炼一个模加使命。也更接近物理学中现象学的。更为矛盾的是，这也注释了为什么 AI 范畴中被频频援用的现象学例子如斯之少。该从哪里起头。惊讶性（Surprise）：现象必需脚够反曲觉、脚够出人预料。我们往往急于从玩具模子跳到更实正在的模子？明星数据科学家 Jeremy Howard 也正在评论区暗示附和，但即即是正在「察看」这一层面，这些博客文章（及配套代码）将来可能会成为课程材料。因而，但这似乎形成了一种认知债权（cognitive debt）—— 这种债权迟早是要的，以及正在需要时供给一些（半）定量阐发，一是本人记实察看成果：正如前面所说，无法写成论文的现象往往会被丢弃。回归到用 Toy Model（玩具模子）进行可控的、多视角的假设驱动摸索。业界目前所做的工作也极其原始：大大都人关心的仍然只是少数几个基于机能的目标调优？
