大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
(相關資料圖)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
相關閱讀
-
-
-
-
-
-
熱頭條丨三星 Galaxy S24 消息曝光；折疊屏新機發布將提前
根據國外科技媒體SamMobile報道，三星計劃在明年年初推出的GalaxyS24系列中再次回歸Exynos系列芯片。不過只
2023-04-25 -
-
-
-
-
-
-
梅西當選世界足球先生是哪一年？為什么能夠梅西當選世界足球先生？
梅西當選世界足球先生是哪一年?梅西共7次當選世界足球先生，分別是2009年、2010年、2011年、2012年、201...
2023-04-25 -
-
-
-
-
-
-
-
2年前小米11 Ultra首發的傳感器被谷歌使用|環球快播報
上午有消息稱谷歌Pixel8Pro使用的圖像傳感器是三星GN2，三星GN2由2021年發布的小米11Ultra首發商用，這是小
2023-04-25 -
-
-
性能穩了！三星Exynos 2400規格曝光：十核CPU、Xclipse 940 GPU|全球速看料
國外科技媒體SamLover報道稱，消息源Revegnus分享了三星Exynos2400芯片的詳細規格信息。根據截圖顯示，Exyn
2023-04-25 -
貴州茅臺連續4個季度成為公募頭號重倉股 一季度末持倉市值高達1006億 世界動態
◎記者王彭趙明超今年以來，AI概念的橫空出世點燃了新一輪TMT行情。各路資金推動下，TMT板塊火速升溫，成交
2023-04-25 -
-
-
-
-
-
-
-
【世界獨家】18years中國（18youngchinagirlg國）
一、題文DesignerDollsBecomeDesirableCollectablesKanHui,seniorstagesetdesign
2023-04-25 -
-
熱頭條丨三星 Galaxy S24 消息曝光；折疊屏新機發布將提前
根據國外科技媒體SamMobile報道，三星計劃在明年年初推出的GalaxyS24系列中再次回歸Exynos系列芯片。不過只
2023-04-25 -
天天時訊：對標iPhone 14 Pro系列！曝三星Galaxy Z Flip 5支持全屏息屏顯示（AOD）
據國外科技媒體SamMobile報道，在即將推出的三星GalaxyZFlip5可折疊手機中，用戶將可以享受全屏息屏顯示（A
2023-04-25 -
中國6G研發取得重要突破，微美全息緊抓關鍵“窗口期”搶占科技制高點|環球熱門
獲悉，中國航天科工二院25所完成了國內首次太赫茲軌道角動量的實時無線傳輸通信實驗，實現重大技術突破，為
2023-04-25 -
黑八預定？巴特勒狂砍53分，熱火116-109再勝雄鹿，3-1拿到賽點
阿倫連得5分，雄鹿一波7-0繼續擴大優勢，6分53秒他們17-5領先。末節過半雄鹿隊突然斷電，熱火趁機打出了一
2023-04-25 -
-
-
-
-
-
真科技真專業 飛利浦Sonicare品牌發布會暨新亮白機皇上市儀式
（2023年4月，上海）4月22日，飛利浦Sonicare“真科技真專業”品牌發布會暨新亮白機皇上市儀式于飛利浦健康
2023-04-25 -
-
中國婦基會與聯想控股持續幫扶榆樹市草編創業女性 共同助力鄉村產業振興_天天訊息
鄉村振興是黨的十九大提出的重大戰略，是新時代做好“三農”工作的總抓手。2023年中央一號文件在部署全...
2023-04-25 -
A股日成交額連續15個交易日超萬億元 CPO概念持續走強 當前看點
◎記者孫越昨日A股市場延續震蕩走低態勢，滬指失守3300點。截至收盤，上證綜指下跌0 78%，報3275 41點；深
2023-04-25 -
-
-
-
-
-
-
-
-
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 啞語教學_手語場景對話（圖書館）-即時焦點
- 環球訊息：濟的多音字組詞 濟的多音字組詞及釋義
- win7如何一鍵還原_win7怎么一鍵還原系統
- 百世快運單號查詢_百世快運單號的查詢方法介紹 世界短訊
- 王者榮耀暴君多長時間刷新一次 具體如下文 今亮點
- 環球快訊:在水一方的歌詞來源于哪里 具體來源于哪里
- 天天熱推薦：銳健醫療擬沖刺資本市場，輔導券商為國金證券
- 當前消息！殷桃和鄧超演的電視劇叫什么名字
- 全球觀點：女神聯盟坐騎升階_促進緊密聯系的方法介紹
- 天天熱消息：通脹形勢不斷惡化 英國食品價格漲幅創45年來新高
- 三色犬是什么動物 看完你就知道了_全球觀天下
- 焦點熱訊:造夢西游2法寶合成_造夢2的合成要加強嗎？
- 【天天快播報】有特色的網名 特色的網名大全 有喜歡的別錯過了
- 每日熱訊!彩虹城堡2攻略_彩虹城堡2攻略大全
- 做剪刀腿有什么好處？剪刀腿怎么做？
- 求生之路2免steam補丁_求生之路2免steam補丁怎么用？ 天天熱文
- 雅典是哪個國家的首都 位于哪里呢
- 4月25日北京冬奧板塊跌幅達2%
- HP筆記本電腦如何恢復出廠設置？ 詳細方法如下 世界頭條
- 一般的筆記本電腦待機時間為多長 相關內容分享給你
- 傳聞中的陳芊芊分集劇情 傳聞中的陳芊芊講述了什么內容|全球新視野
- 國網冀北：以電力數據分析透視區域經濟增長
- 臘草魚塊怎么做 臘草魚塊做法_環球最新
- 同氣是指什么關系 一般同氣是指什么關系
- 索蘭托怎么樣(韓國起亞索蘭托進口版) 天天熱點
- 今亮點！公牛在主場以115-107戰勝籃網 終結六連敗
- 液態彩虹_在家就能做的水彩虹 相關內容了解
- 天天日報丨黃家駒什么時候死的_黃家駒死亡原因
- 世界時訊：閃閃爍爍的意思 詞語閃閃爍爍什么意思及出處
- 世界滾動:蛋糕不夠蓬松是因為什么原因 原材料品質問題如何
- 絕味鴨脖是哪里的_絕味鴨脖出自哪個地方
- 皮具分類_皮革分類小常識科普 這些你都知道嗎？ 前沿熱點
- 今日熱聞!中秋節慰問信息（中秋節慰問信）
- 欲窮千里目中的窮是什么意思 古詩鑒賞
- 天天快資訊：怎樣修改主頁 主頁怎么修改，方法如此簡單
- 當前快看：臘月初旬_北京的春節怎么過的
- 環球微資訊！武林外傳什么職業好_武林外傳單職業什么厲害
- 謙尋：2023年下半年將針對品牌方推出虛擬人創新業務
- 一代梟雄結局 一代梟雄最后怎樣了
- 京東每年的固定活動有哪些 活動時間是什么時候
- 歐洲杯半決賽西班牙暴露最大的問題就是鋒無力 微動態
- 天天快消息！廣州恒大全隊兵發蘇州備戰中超聯賽第二階段的比賽
- “兩網”無縫銜接 市民高效換乘
- 1399元起！榮耀X50i開售：一億像素超清影像+4500mAh電池 天天亮點
- 無碼SteamDeck你肯定被騙了
- 羽毛球拍3u和4u 5u的區別是什么？羽毛球拍磅數怎么選？
- 天津實施科教興市人才強市行動
- 焦點滾動:一公司買7000部iPhone 全是空盒
- 奧沙利文最怕三個人是誰？奧沙利文是哪個國家的人？
- 三分球大賽規則是什么 NBA全明星三分球大賽歷屆冠軍得主
- 小米洗內褲洗烘一體機將上架：1599元 殺菌消毒_環球觀察
- 飲料制造板塊拉升 青島啤酒漲超4%
- 中國三大球哪個最強？三大球是指哪三大球？
- 富臨精工2022年扣非凈利大增192% 新能源業務成發展新引擎 世界新要聞
- 【大國基理】背包法庭創新做法 把法庭“背到”人民群眾家門口
- 庫里三分球總數最新數據多少？庫里在哪個籃球隊？
- Siri專利侵權？蘋果竟成被告
- 2023男籃世預賽賽程直播在哪里看 男籃世界杯預選賽中國隊賽程表
- 2元撬動248億債務 恒大汽車剝離地產業務為時已晚？|當前通訊
- 世預賽中國男籃2023賽程表 世預賽亞洲區12強賽積分榜
- 優秀！小學生展示隱藏技能一筆畫龍
- 環球頭條：景氣底部已過 卓越新能一季度凈利潤環比增長230%
- 有變化！中山最新購房政策，一圖讀懂！ 天天新視野
- 足球世少賽是什么比賽？足球世少賽幾年一屆？
- 世青賽阿根廷拿過幾次冠軍 都有哪些國家奪得過足球世青賽的冠軍
- 誰適合相撲？你知道為什么嗎？-全球百事通
- 足球世青賽年齡限制幾歲？保羅加索爾獲得過幾次世青賽冠軍？
- 新里程：4月24日融資買入176.87萬元，融資融券余額2.75億元
- 寧遠高新技術產業開發區辦公室主任、管理七級職員蔣興接受審查調查|焦點快報
- 2023年U20男子冰球世青賽冠軍是誰 05年荷蘭世青賽小組賽積分排名
- 全球時訊：山東泰山主場和成都蓉城的比賽更改為在成都進行
- 小米13系列買哪款？雷軍給出了答案
- 鵜鶘隊122-115險勝火箭隊送給后者4連敗 焦點訊息
- 剛剛加盟球隊的前國腳鄒正現場見證了這場比賽
- 中國首奪冰壺世青賽冠軍是哪一年 冰壺世青賽多久舉辦一次
- 環球視點！cDNA和基因組DNA的區別
- 2023德班世乒賽在哪里舉行 德班世乒賽決賽中國隊名單2023
- 帕奎塔連場破門再一次成為球隊的英雄 天天速遞
- 保險網絡營銷！（網上保險營銷究竟有哪些秘訣？）
- 中國乒乓球大捷！5將勇奪WTT青少年挑戰賽6冠，1小將成就2冠王_世界頭條
- 世乒賽幾年舉辦一屆 世乒賽歷屆冠軍名單
- 成都世乒賽女隊幾連冠？成都世乒賽在哪個體育館舉行？
- 林清軒蘆薈膠（林清玄蘆薈膠哪個最完美？） |環球觀熱點
- 機票搜索引擎（國際機票實時在線比價搜索引擎） 全球速訊
- 吃芒果的7大禁忌（哪些情況不適合吃芒果）
- 湘潭市多部門路檢路查柴油貨車尾氣排放 每日觀點
- 世俱杯和歐冠哪個含金量大？世俱杯在中國舉辦過嗎？
- 偷盤哥引憤怒：僅退款就法院見
- 日本化妝品juju（不要用這10款日系化妝品！） 環球滾動
- 泰國旅游攻略（泰國自由行純小白攻略） 去玩的小伙伴收藏
- 年會游戲背景音樂（溫暖的田野音樂推薦）
- 4月24日基金凈值：信澳領先智選混合最新凈值0.6985，跌1.13%_環球觀速訊
- 甲骨文發現于（甲骨文悲慘的前世）
- 漯河市源匯區財政局 提升五星“閃亮度” 照亮鄉村振興路
- 每日快看：鐳波筆記本怎么樣（鐳X-15P的材質如何）
- 冒險島戰神任務（冒險島戰神任務怎么做）
- 消息！賽爾號譜尼真身攻略（賽爾號頁游譜尼怎么獲得）
- 跑馬燈代碼（html跑馬燈/走馬燈效果） 一起學習吧
- 環球動態:韓國面料（韓國面料成分對照表） tr面料的優勢
- 天天微速訊：追龍票房（追龍全球總票房） 跟隨小編一起了解吧
- 集結號演員（集結號主演名單） 整容如何呢-環球微動態
- 世俱杯幾年舉行一屆 世俱杯歷屆冠軍一覽表
- 松花江污染事件（2019年松花江水污染事件） 這是怎么回事呢
- LOL中carry英雄有哪些 相關知識送給大家_世界看熱訊
- 什么是三觀不正 三觀包括哪三觀？
- 12月26月是什么節日 這一天有什么傳說嗎？_環球即時看
- 聚焦廣交會 中國市場消費升級如何惠及全球？_世界新視野
- 基金買入后最快什么時間可以賣出？賣出基金的方法有哪幾種？
- 千戶苗寨旅游攻略詳細 貴州千戶苗寨的旅游攻略-環球看熱訊
- 【世界新要聞】成人用品進貨渠道有哪些 一文帶你清楚了解
- 天然橡膠產地（中國乳膠生產基地） 相關資料分享給你
- 今日熱搜：紙杯留聲機原理 留聲機的工作過程介紹
- 新資訊：樹下野狐作品列表 分別有哪些呢？
- 泰戈爾 世界上最遙遠的距離（世界上最遙遠的距離全詩賞析） 世界速讀
- 基金封閉期間會產生收益嗎？封閉式基金和開放式基金有什么不同？
- 【全球熱聞】國慶上映的電影有哪幾部2022 一起來看看吧
- 【新要聞】無限非概率（世界是否無限可能性？） 有什么特點？
- 世界觀天下！白色夾竹桃（科普知識——夾竹桃） 你對夾竹桃有多少了解
- 每日熱文：東湖評論：用清廉之風擦亮青春底色
- 本人健康碼怎么查看 微信使用技巧介紹-全球今頭條
- 螺紋鋼筋理論重量表_一起來看看吧
- 【快播報】卿開頭的成語 卿卿我我的成語出處
- 教師節送男教師什么禮物好 不知道的看看這下吧 環球報資訊
- 中國冰島在哪個省 冰島之名的起源說法 今頭條
- 玫瑰價格暴漲 鮮花價格高漲受什么影響|天天信息
- 寧波男性醫院專業的是哪個〖專業〗-寧波男性醫院排名哪些比較有名-天天觀察
- 收回香港是哪一年哪一日 相關資料分享給你|當前簡訊
- 基金轉換后什么時間有收益？基金轉換需要滿足哪些條件？
- 婦科炎癥偏方_婦科炎癥和小腹痛的原因|精選
- 基金轉換與再買入的區別是什么？基金轉換有什么好處？
- 每日時訊!婚外戀的憂傷_婚外情的悲傷之路
- 第五人格地窖怎么打開 還不會的趕緊看過來吧 當前熱門
- 世界熱資訊！關于劍網三七秀套裝 下面為大家帶來詳細介紹
- 2023年事業單位公開招聘人員筆試工作完成-當前消息
- 洛克王國迪莫在哪抓 抓取洛克王國迪莫方法如下-環球觀熱點
- 郭富城演的電影 郭富城影視作品大盤點_世界聚看點
- 世界觀熱點：汽車測速電子狗_汽車可以安裝電子狗嗎，有哪些利弊
- 通訊！自來也徒弟_自來也有哪三個學徒？
- 清心書卷哪里買_wow里的清心卷軸怎么用？
- 火炬之光2如何洗點 下面就來看看吧_每日熱聞
- 錦鯉卡是真的嗎可靠嗎 一起來看看吧
- 為什么基金賣出時顯示的是基金份額？基金賣出可以撤銷？
- 魯能泰山足球俱樂部在基地舉行出征誓師大會
- 江西中考滿分作文：那個影響了我的人（1） 內蒙古包頭中考滿分
- 微淘怎么玩 微淘如何打造互動活動？ 精選
- 天天熱頭條丨好聽的網頁游戲音樂_好玩的音樂節奏游戲 下文帶來推薦
- 飛躍——湘商回歸在永州 | “將寧遠優質農產品推向世界”
- 聯合醫藥網_聯合藥業：20年不改中藥現代化初心
- 世界速訊：攝像機的使用_模擬攝像機的基本概念
- 安徽公示省級以上開發區綜合考評“30強”
