我可能是全網(wǎng)第一個(gè)花錢向 GPT-o1 提問，人在深圳靠一條網(wǎng)線橫跨太平洋到美國硅谷讓 OpenAI 強(qiáng)大模型 GPT-o1 模型思考 38 秒之后、宕機(jī)了半小時(shí)選擇拒絕回答問題并收了我2.5塊（一瓶肥宅快樂水）的韭菜......
（因?yàn)檫@個(gè)模型只支持訂閱使用并且一個(gè)月只回復(fù)120條內(nèi)容，plus會員訂閱費(fèi)1個(gè)月20美刀，約等于1.25軟妹幣1條回答......）
OpenAI 今天凌晨突擊更新 GPT-o1，早上起來全網(wǎng)都在開香檳，大意就是突破了LLM極限，新模型能力在生物、物理比肩甚至超越人類博士生。另一個(gè)特性就是 o1 模型會用更長的時(shí)間思考以此來盡可能完善的回答問題。
針對上面提到的兩個(gè)特性，小編找了幾個(gè)需要強(qiáng)綜合邏輯思考能力并包含物理、生物、數(shù)學(xué)能力的題目來測試GPT-o1 的能力到底如何。以下是題目設(shè)置：
數(shù)學(xué)題測試
「人力顯卡」所有人類都用筆算/心算產(chǎn)生的算力能否推翻英偉達(dá)的統(tǒng)治？
「鈔票打印機(jī)」如果我的家用打印機(jī)能夠打印美元，我能比馬斯克有錢嗎？
綜合性物理題
「人力地震」地球上所有人在同一個(gè)地方同時(shí)起跳落地，地球會發(fā)生什么？
「機(jī)槍飛行背包」用向下射擊的機(jī)槍能組裝成一個(gè)飛行背包讓人飛天嗎？
「世界末日」如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動(dòng)，但大氣層還是保持原來的速度，會怎樣?
生物題
「不孕不育會遺傳不？」如果一個(gè)人體內(nèi)所有的DNA在一瞬間消失了，會發(fā)生什么？
另外本文章分為：獨(dú)立測試、橫評對比存在的問題、值不值得氪金。小伙伴們可以按需快速前往相應(yīng)版塊。
數(shù)學(xué)題測試
問題1「人力顯卡」
全球所有的人類放下手中工作然后參與到計(jì)算中能產(chǎn)生多少算力？這些計(jì)算能力和現(xiàn)代的計(jì)算機(jī)或智能手機(jī)相比誰更厲害呢?（沒錯(cuò)，這次全人類對英偉達(dá)發(fā)起的一次總攻?。。。?span style="display:none">7my驛資訊
這算是一道比較簡單的數(shù)學(xué)和邏輯推理題，o1思考了11秒，得出的結(jié)論是全人類心算/筆算的算力總和約8 GFLOPS。
在咨詢完愛搞機(jī)的小伙伴之后，80億人類只是做心算/筆算的話那么產(chǎn)生8GFLOPS 的算力大概就是略高于蘋果發(fā)布于 2010 年搭載 A4 芯片算力 6.8 GFLOPS 的 iphone4。
以GPT-3訓(xùn)練為例，它需要數(shù)千個(gè)GPU，持續(xù)數(shù)周，計(jì)算量達(dá)到 數(shù)百PFLOPS天(即每天數(shù)千萬億次浮點(diǎn)運(yùn)算，持續(xù)數(shù)天。老黃繼續(xù)安心賣顯卡吧~
問題2「鈔票打印機(jī)」
如果我的家用打印機(jī)能夠打印出紙幣，這會對世界有多大影響?
隱藏測試點(diǎn)：
考察GPT-o1對家用打印機(jī)的打印速度有了解
家用打印機(jī)通常只能打印A4紙大小，一張A4紙的版面大概能同時(shí)打印4張百元美鈔
這道題其實(shí)GPT-o1的回答還是挺厲害的。它識別到了打印能力被限制在家用打印機(jī)上，所以GPT-o1需要考慮一臺家用打印機(jī)通常每分鐘只能打印20~30張A4紙大小的打印紙（大概能放下4張100美元的紙幣），那每分鐘能打印的百元美鈔就是80~120張跟GPT-o1估算的100張出入不大。
其次就是咱們1天能印刷6000萬美元。它還貼心的給出了安全期就是1個(gè)月印刷1.8億美元只會引起小市場局部波動(dòng)。印刷1年能得到21.9億美元會引起輕微通貨膨脹并刷新劇情事件「佛波勒敲門」。
不過GPT-o1模型有個(gè)弊端，他不能聯(lián)網(wǎng)搜索，當(dāng)我我問他我這個(gè)賺錢能力世界排名第幾的時(shí)候，gpt給出的數(shù)據(jù)是馬斯克大概每年賺60億美元，而實(shí)際上根據(jù)福布斯公布2023年全球財(cái)富增長榜，馬斯克2023年財(cái)富增長了1084億美元。
AI揭露了一個(gè)殘酷的事實(shí)，就算你有一臺24小時(shí)鈔票打印機(jī)，一年賺的錢是2.4*21.9億=52.56億美元，面對1084億美元還需要20臺這種打印機(jī)才能跟馬圣一較高下。單臺印鈔機(jī)甚至打不過排名前十的扎克伯格、貝索斯、谷歌的拉里·佩奇和謝爾蓋·布林、微軟的史蒂夫·鮑爾默、甲骨文的拉里·埃里森、英偉達(dá)的黃仁勛。
如果說前面的問題只是簡單的數(shù)學(xué)估算加上常識漏洞考驗(yàn)，接下來就針對官方說的物理能力提升開始進(jìn)行考驗(yàn)。
綜合物理題測試
問題1 「人力地震」
假如地球上所有人站同一個(gè)地方同時(shí)起跳落地，地球會發(fā)生什么？
這個(gè)問題AI思考18秒經(jīng)過計(jì)算告訴咱先別擔(dān)心，地球的質(zhì)量是人類總質(zhì)量的10萬億倍以上，所以人類跳起來落下去地球反方向移動(dòng)的距離約等于一個(gè)原子核大小的寬度......
其次所有人落地產(chǎn)生的能量還弱于4級地震并且由于大家站的空間至少數(shù)百平方公里，所以大概等于給地面撓了個(gè)癢。
這里GPT-o1我個(gè)人認(rèn)為如果按照博士生水平來考量，我認(rèn)為它的回答缺乏一定嚴(yán)謹(jǐn)性。因?yàn)檫@里我還需要自己反向推導(dǎo)出大家跳的高度是29.8厘米，如果沒注意這個(gè)細(xì)節(jié)，GPT-o1隨便寫個(gè)同時(shí)跳1米高來計(jì)算，那答案就跟常理相違背，哪來那么多人原地一蹦一米高。
在這個(gè)問題中Claude Sonnet則是假定跳10厘米，一目了然好理解。
接下來就真的上難度了，連環(huán)邏輯燒腦題。
問題2 「機(jī)槍飛行背包」
用向下射擊的機(jī)槍能組裝成一個(gè)飛行背包讓人飛天嗎？請給出詳細(xì)的物理計(jì)算和思考過程，以及討論各種可能衍生和發(fā)生的情況。
考察點(diǎn)：
理解能力：需要理解我的意圖是借助機(jī)槍后坐力實(shí)現(xiàn)“物理飛天”。
常識考察：GPT-o1對槍械的理解能力“現(xiàn)實(shí)中存不存在這樣的槍”。
物理問題考察：彈藥攜帶的遞歸問題，為了獲得更大的射速和后坐力，需要攜帶更多彈藥，而彈藥又會導(dǎo)致質(zhì)量增加，GPT-o1是否能考慮到這個(gè)層面的問題？
在這個(gè)問題中GPT-o1首先理解了需求就是借助機(jī)槍后坐力實(shí)現(xiàn)“物理飛升”然后快速鎖定關(guān)鍵問題在于向上的反沖力必須大于重力，反沖力則需要通過子彈的質(zhì)量、射速和射速計(jì)算得出。
為了追求射速，GPT-o1 選擇了M134速射機(jī)槍（6000發(fā)/分鐘）進(jìn)行討論，計(jì)算后發(fā)現(xiàn)機(jī)槍的反沖力800N大于一個(gè)人加機(jī)槍總重80kg也就是重力784N，理論上是可行的。
就是把這玩意槍口朝地背在身上，從懸崖上跳下去起飛。
o1隨后發(fā)現(xiàn)還要考慮子彈重量的問題，假定使用1架M134射擊1分鐘需要6000發(fā)子彈，子彈的總質(zhì)量為60kg，則新的重力為1372N，機(jī)槍反沖力800N沒變的情況下不足以讓人升天。
為了克服增加的重力需要的射速為10290發(fā)/分鐘。增加射速需要攜帶更多的彈藥，導(dǎo)致總質(zhì)量進(jìn)一步增加，重力和反沖力平衡形成遞歸難題，難以解決。
隨后o1進(jìn)一步假設(shè)就算是使用4挺M134機(jī)槍捆綁一起也無法解決，啊，夢碎機(jī)槍噴射背包。
作為對比這是Claude 3.5 Sonnet的回答，可以看出來經(jīng)過思考以后，GPT-o1在回答時(shí)思維的邏輯性跟解決問題的思維擴(kuò)散性確實(shí)會比Claude3.5更專業(yè)更嚴(yán)謹(jǐn)。
問題3 「世界末日」終極燒腦題
如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動(dòng)，但大氣層還是保持原來的速度，會怎樣?
考察點(diǎn)：
理解能力：這是一個(gè)架空問題可以有效防止他被AI訓(xùn)練過
物理天氣連鎖反應(yīng)：大氣層運(yùn)動(dòng)導(dǎo)致狂風(fēng)→狂風(fēng)卷起沙塵暴→狂風(fēng)摩擦地面生熱→由于地表摩擦狂風(fēng)會停止但地表溫度升高→空氣潮濕的地區(qū)將形成全球性的雷暴→橫掃海面的大風(fēng)引起海嘯后，風(fēng)暴會將深處冰冷的海水帶到表層，冰冷的水珠遇上熾熱的空氣會有暴雨→地球停止自轉(zhuǎn)東西半球晝夜更替的時(shí)長變?yōu)?年→晝夜溫差加大→光合作用失效地球氧氣大幅減少......
計(jì)算能力：根據(jù)上面的連鎖反應(yīng)進(jìn)行各種災(zāi)害等級運(yùn)算
在這題中GPT-o1 倒是第一時(shí)間意識到數(shù)秒內(nèi)地表會掀起超音速狂風(fēng)并且離赤道越近風(fēng)速越大（大可達(dá)343m/s）。
并且根據(jù)牛頓第一定律，其他物體會以原自轉(zhuǎn)速度向東運(yùn)動(dòng)，也就是如果你站在赤道那你會以465m/s的速度飛出去打破立定跳遠(yuǎn)世界記錄~
在幾分鐘后由于地表摩擦的原因，地表溫度急劇升高可能會引起全球范圍內(nèi)的火災(zāi)然后就銜接到數(shù)小時(shí)之內(nèi)會有超過數(shù)百米高的海嘯出現(xiàn)。（PS：這里他沒考慮到地表溫度升高之后熱氣流產(chǎn)生到來的天氣運(yùn)動(dòng)可能會導(dǎo)致降雨）
在接下來的幾天到幾周時(shí)間地球質(zhì)量會重新分布，赤道會下降、南北極會上升數(shù)十公里，也就是地球會從一個(gè)橢圓趨向于變成一個(gè)球體。伴隨而來的就是頻繁的超10級大地震。
水會從赤道流向南北極導(dǎo)致海平面發(fā)生變化。（PS：小編提示從地理角度來說荷蘭將有大量沉在海底的陸地露出海平面并且由于相關(guān)規(guī)定，荷蘭將間接掌握大半歐洲的土地，原地升級超大陸地國，且土壤肥沃適合種田...嗯跑偏了。）
GPT-o1接下來的回答我并不滿意，因?yàn)槲业囊笫墙o出詳細(xì)的解釋，但他都是一筆帶過很模糊。比如晝夜溫差的問題他并沒有給出詳細(xì)數(shù)據(jù)，這其實(shí)對自然災(zāi)害防護(hù)來說是挺重要的。
Claude就給出了較好的解釋跟詳細(xì)數(shù)據(jù)，白天溫度超過60度，晚上降至-50度。而且晝夜溫差的問題也應(yīng)該是因?yàn)榈厍蛲Ｖ棺赞D(zhuǎn)所以短時(shí)間內(nèi)發(fā)生，而不是GPT-o1說的等到幾天之后。
在其他地方同樣如此，感覺當(dāng)問題思考長度上去之后，GPT-o1在計(jì)算這一塊比較懶，直接給了個(gè)公式。
Claude給出的答案則能讓我清晰感知到數(shù)據(jù)方便我做出準(zhǔn)備。
后續(xù)當(dāng)我在提示詞中強(qiáng)制要求他計(jì)算時(shí)，他回答了個(gè)如果然后就卡了大概20分鐘，我手賤點(diǎn)了個(gè)刷新他就終止回答了。當(dāng)我第二次問的時(shí)候，他思考了13秒然后說由于政策問題它無法回答問題。我確信這是一個(gè)科學(xué)問題而非一個(gè)暴力問題且前面3次同樣問題的測試它都愿意回答。
GPT-o1
另一個(gè)問題就是在官方使用指南中提到，保持提示簡單直接，避免思路鏈提示。當(dāng)我遵循官方這個(gè)指示之后，GPT-o1給出的回答非常簡潔。
gpt 4o
甚至比gpt4o還要簡潔...真應(yīng)了那句話“真正聰明的人,都是‘很懶’的”？
基于以上的測試，我認(rèn)為使用思路鏈提示或者說進(jìn)行提示詞工程的調(diào)整仍然是必修課，因?yàn)楝F(xiàn)在的GPT-o1也許開創(chuàng)了一個(gè)新模式，真的在學(xué)習(xí)思考但他無法百分百保證他思考的方向就是對的或者嚴(yán)謹(jǐn)?shù)?，我們也要警惕陷入用思考時(shí)長來衡量答案質(zhì)量這個(gè)陷阱。
畢竟大牛karpathy也說了，GPT-o1-mini仍在拒絕嘗試解決黎曼猜想，這何嘗不是一種逃避思考？
生物問題測試
問題1 「榨干了DNA的人能活嗎？」
考察點(diǎn)：
目的：考驗(yàn)AI對人體DNA的理解，畢竟AI也要廣泛應(yīng)用在生物工程學(xué)的研究中，如果不知道這些東西的作用談何研究？
這里GPT-o1首先闡述個(gè)DNA的作用和影響，我整理了一下：遺傳信息丟失（不孕不育了）；轉(zhuǎn)錄停止（影響發(fā)育）；蛋白質(zhì)合成中斷（不會變胖了）；線粒體功能受損（身體能量發(fā)動(dòng)機(jī)壞了）。綜上所述，人廢了。
經(jīng)過計(jì)算一個(gè)成人體內(nèi)DNA總量大概在150g左右，抽干這150g數(shù)秒內(nèi)你只會覺得減肥成功，接著過幾分會開始肌無力并且意識模糊，再過十幾分鐘就昏迷了然后心跳呼吸開始不規(guī)律，再過幾小時(shí)人類史上第一個(gè)因DNA逃逸身體而生理飛升的人誕生了（R.I.P）。
而且這個(gè)死亡過程不可逆，其實(shí)咱可以理解為給細(xì)胞半衰期按了一個(gè)超快加速鍵，死亡是唯一的歸宿。
后一個(gè)就是AI屆的數(shù)學(xué)難題，9.11和9.8誰大？思考5秒，9.11比9.8大，心疼我的1.5元。
總結(jié)
在上面的測試中我按照官方說的物理、生物能力提升以及思考能力提升設(shè)計(jì)了幾道題目。在前面的表現(xiàn)中一樣的提示詞已經(jīng)超越了的它的有力對手Claude 3.5 Sonnet。
不作要求，獨(dú)立思考后的回答
但在隨后的地球停止自轉(zhuǎn)的連鎖反應(yīng)測試中我發(fā)現(xiàn)，隨著思考內(nèi)容的復(fù)雜化GPT-o1居然產(chǎn)生了惰性回答的很簡潔。
同問題gpt4o的回答
它的思考深度不再具備那么強(qiáng)的廣度和深度，甚至不如gpt 4o的表現(xiàn)。此外，它提到的內(nèi)容 Claude 3.5都提到了，他沒提到的氧氣減少Claude3.5也提到了。
第二當(dāng)我要求計(jì)算時(shí)GPT-o1前面倒是很認(rèn)真算但到后面就直接放公式不執(zhí)行計(jì)算了。
當(dāng)我強(qiáng)制要求他計(jì)算后，他本來思考了25秒回答兩個(gè)字“如果”，然后卡在計(jì)算環(huán)節(jié)25分鐘不動(dòng)然后自動(dòng)終止了回答。但我提問為何時(shí)，他說我這個(gè)是暴力問題，何時(shí)地球自轉(zhuǎn)的問題變?yōu)楸┝栴}了，那前面又為何能回答？
相比之下，同樣的提示詞GPT-o1拒絕回答，Claude 3.5會給出詳細(xì)的計(jì)算并給出具體數(shù)值。
你們可能覺得我在大題小作，但換個(gè)說法，現(xiàn)在人類面臨危機(jī)隕石即將撞擊地球，然后需要借助AI計(jì)算隕石軌跡精確到具體的數(shù)值然后設(shè)計(jì)一套求生方案，你認(rèn)為一個(gè)給出具體方案并執(zhí)行計(jì)算的AI更好，還是一個(gè)思考比較慢然后給出的答案只是一個(gè)公式的AI比較好？
我不否認(rèn)GPT-o1的這次創(chuàng)新，但如果說作為用戶的角度來說。目前Claude 3.5通過提示詞工程可以提高回答質(zhì)量，而當(dāng)我通過修改提示詞強(qiáng)調(diào)所有內(nèi)容需要計(jì)算出具體數(shù)值讓GPT-o1進(jìn)行計(jì)算的時(shí)候它第一次思考25秒后中斷回答，第二次告訴我是政策原因，那么前面同樣的問題它為啥愿意回答，
我相信GPT-o1肯定在一些尖端領(lǐng)域有了突破，在這樣龐大算力的加持下，力大磚飛也好，小鎮(zhèn)做題家也罷，需要先看看科研圈的人到底能用它突破什么。而不是他發(fā)一堆表大家集體狂歡。
值不值得升級？我認(rèn)為如果你只是普通用戶，那么這次升級更看重的就是“思考”這一項(xiàng)能力能否幫助你，目前中等程度的問題回答能力第一，但復(fù)雜的思考會偷懶，且大部分場景下可以通過優(yōu)化提示詞讓Claude 3.5追上GPT-o1。
另外，第一時(shí)間愿意消費(fèi)這個(gè)東西的大部分是高手，他們本來用的就厲害做出一些厲害的東西也容易有傳播度，受限于收費(fèi)門檻大部分人容易被這些信息迷惑，以為只有更新了才能做到。其實(shí)你大可以先試試用他的提示詞然后在普通產(chǎn)品能不能達(dá)到那個(gè)效果再?zèng)Q定要不要消費(fèi)。
后附上一段GPT-o1對OpenAI的吐槽：
以及Claude對GPT-o1的看法：雷峰網(wǎng)(公眾號：雷峰網(wǎng))
本文鏈接：http://www.88neiyi.com/news-132035.html實(shí)測 GPT-o1：學(xué)會了思考 也學(xué)會了偷懶
