我可能是全網(wǎng)第一個花錢向 GPT-o1 提問，人在深圳靠一條網(wǎng)線橫跨太平洋到美國硅谷讓 OpenAI 強大模型 GPT-o1 模型思考 38 秒之后、宕機了半小時選擇拒絕回答問題并收了我2.5塊（一瓶肥宅快樂水）的韭菜......
（因為這個模型只支持訂閱使用并且一個月只回復(fù)120條內(nèi)容，plus會員訂閱費1個月20美刀，約等于1.25軟妹幣1條回答......）
OpenAI 今天凌晨突擊更新 GPT-o1，早上起來全網(wǎng)都在開香檳，大意就是突破了LLM極限，新模型能力在生物、物理比肩甚至超越人類博士生。另一個特性就是 o1 模型會用更長的時間思考以此來盡可能完善的回答問題。
針對上面提到的兩個特性，小編找了幾個需要強綜合邏輯思考能力并包含物理、生物、數(shù)學(xué)能力的題目來測試GPT-o1 的能力到底如何。以下是題目設(shè)置：
數(shù)學(xué)題測試
「人力顯卡」所有人類都用筆算/心算產(chǎn)生的算力能否推翻英偉達的統(tǒng)治？
「鈔票打印機」如果我的家用打印機能夠打印美元，我能比馬斯克有錢嗎？
綜合性物理題
「人力地震」地球上所有人在同一個地方同時起跳落地，地球會發(fā)生什么？
「機槍飛行背包」用向下射擊的機槍能組裝成一個飛行背包讓人飛天嗎？
「世界末日」如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動，但大氣層還是保持原來的速度，會怎樣?
生物題
「不孕不育會遺傳不？」如果一個人體內(nèi)所有的DNA在一瞬間消失了，會發(fā)生什么？
另外本文章分為：獨立測試、橫評對比存在的問題、值不值得氪金。小伙伴們可以按需快速前往相應(yīng)版塊。
數(shù)學(xué)題測試
問題1「人力顯卡」
全球所有的人類放下手中工作然后參與到計算中能產(chǎn)生多少算力？這些計算能力和現(xiàn)代的計算機或智能手機相比誰更厲害呢?（沒錯，這次全人類對英偉達發(fā)起的一次總攻?。。。?span style="display:none">D6U壹木網(wǎng)-日常常見問題解答
這算是一道比較簡單的數(shù)學(xué)和邏輯推理題，o1思考了11秒，得出的結(jié)論是全人類心算/筆算的算力總和約8 GFLOPS。
在咨詢完愛搞機的小伙伴之后，80億人類只是做心算/筆算的話那么產(chǎn)生8GFLOPS 的算力大概就是略高于蘋果發(fā)布于 2010 年搭載 A4 芯片算力 6.8 GFLOPS 的 iphone4。
以GPT-3訓(xùn)練為例，它需要數(shù)千個GPU，持續(xù)數(shù)周，計算量達到 數(shù)百PFLOPS天(即每天數(shù)千萬億次浮點運算，持續(xù)數(shù)天。老黃繼續(xù)安心賣顯卡吧~
問題2「鈔票打印機」
如果我的家用打印機能夠打印出紙幣，這會對世界有多大影響?
隱藏測試點：
考察GPT-o1對家用打印機的打印速度有了解
家用打印機通常只能打印A4紙大小，一張A4紙的版面大概能同時打印4張百元美鈔
這道題其實GPT-o1的回答還是挺厲害的。它識別到了打印能力被限制在家用打印機上，所以GPT-o1需要考慮一臺家用打印機通常每分鐘只能打印20~30張A4紙大小的打印紙（大概能放下4張100美元的紙幣），那每分鐘能打印的百元美鈔就是80~120張跟GPT-o1估算的100張出入不大。
其次就是咱們1天能印刷6000萬美元。它還貼心的給出了安全期就是1個月印刷1.8億美元只會引起小市場局部波動。印刷1年能得到21.9億美元會引起輕微通貨膨脹并刷新劇情事件「佛波勒敲門」。
不過GPT-o1模型有個弊端，他不能聯(lián)網(wǎng)搜索，當(dāng)我我問他我這個賺錢能力世界排名第幾的時候，gpt給出的數(shù)據(jù)是馬斯克大概每年賺60億美元，而實際上根據(jù)福布斯公布2023年全球財富增長榜，馬斯克2023年財富增長了1084億美元。
AI揭露了一個殘酷的事實，就算你有一臺24小時鈔票打印機，一年賺的錢是2.4*21.9億=52.56億美元，面對1084億美元還需要20臺這種打印機才能跟馬圣一較高下。單臺印鈔機甚至打不過排名前十的扎克伯格、貝索斯、谷歌的拉里·佩奇和謝爾蓋·布林、微軟的史蒂夫·鮑爾默、甲骨文的拉里·埃里森、英偉達的黃仁勛。
如果說前面的問題只是簡單的數(shù)學(xué)估算加上常識漏洞考驗，接下來就針對官方說的物理能力提升開始進行考驗。
綜合物理題測試
問題1 「人力地震」
假如地球上所有人站同一個地方同時起跳落地，地球會發(fā)生什么？
這個問題AI思考18秒經(jīng)過計算告訴咱先別擔(dān)心，地球的質(zhì)量是人類總質(zhì)量的10萬億倍以上，所以人類跳起來落下去地球反方向移動的距離約等于一個原子核大小的寬度......
其次所有人落地產(chǎn)生的能量還弱于4級地震并且由于大家站的空間至少數(shù)百平方公里，所以大概等于給地面撓了個癢。
這里GPT-o1我個人認為如果按照博士生水平來考量，我認為它的回答缺乏一定嚴謹性。因為這里我還需要自己反向推導(dǎo)出大家跳的高度是29.8厘米，如果沒注意這個細節(jié)，GPT-o1隨便寫個同時跳1米高來計算，那答案就跟常理相違背，哪來那么多人原地一蹦一米高。
在這個問題中Claude Sonnet則是假定跳10厘米，一目了然好理解。
接下來就真的上難度了，連環(huán)邏輯燒腦題。
問題2 「機槍飛行背包」
用向下射擊的機槍能組裝成一個飛行背包讓人飛天嗎？請給出詳細的物理計算和思考過程，以及討論各種可能衍生和發(fā)生的情況。
考察點：
理解能力：需要理解我的意圖是借助機槍后坐力實現(xiàn)“物理飛天”。
常識考察：GPT-o1對槍械的理解能力“現(xiàn)實中存不存在這樣的槍”。
物理問題考察：彈藥攜帶的遞歸問題，為了獲得更大的射速和后坐力，需要攜帶更多彈藥，而彈藥又會導(dǎo)致質(zhì)量增加，GPT-o1是否能考慮到這個層面的問題？
在這個問題中GPT-o1首先理解了需求就是借助機槍后坐力實現(xiàn)“物理飛升”然后快速鎖定關(guān)鍵問題在于向上的反沖力必須大于重力，反沖力則需要通過子彈的質(zhì)量、射速和射速計算得出。
為了追求射速，GPT-o1 選擇了M134速射機槍（6000發(fā)/分鐘）進行討論，計算后發(fā)現(xiàn)機槍的反沖力800N大于一個人加機槍總重80kg也就是重力784N，理論上是可行的。
就是把這玩意槍口朝地背在身上，從懸崖上跳下去起飛。
o1隨后發(fā)現(xiàn)還要考慮子彈重量的問題，假定使用1架M134射擊1分鐘需要6000發(fā)子彈，子彈的總質(zhì)量為60kg，則新的重力為1372N，機槍反沖力800N沒變的情況下不足以讓人升天。
為了克服增加的重力需要的射速為10290發(fā)/分鐘。增加射速需要攜帶更多的彈藥，導(dǎo)致總質(zhì)量進一步增加，重力和反沖力平衡形成遞歸難題，難以解決。
隨后o1進一步假設(shè)就算是使用4挺M134機槍捆綁一起也無法解決，啊，夢碎機槍噴射背包。
作為對比這是Claude 3.5 Sonnet的回答，可以看出來經(jīng)過思考以后，GPT-o1在回答時思維的邏輯性跟解決問題的思維擴散性確實會比Claude3.5更專業(yè)更嚴謹。
問題3 「世界末日」終極燒腦題
如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動，但大氣層還是保持原來的速度，會怎樣?
考察點：
理解能力：這是一個架空問題可以有效防止他被AI訓(xùn)練過
物理天氣連鎖反應(yīng)：大氣層運動導(dǎo)致狂風(fēng)→狂風(fēng)卷起沙塵暴→狂風(fēng)摩擦地面生熱→由于地表摩擦狂風(fēng)會停止但地表溫度升高→空氣潮濕的地區(qū)將形成全球性的雷暴→橫掃海面的大風(fēng)引起海嘯后，風(fēng)暴會將深處冰冷的海水帶到表層，冰冷的水珠遇上熾熱的空氣會有暴雨→地球停止自轉(zhuǎn)東西半球晝夜更替的時長變?yōu)?年→晝夜溫差加大→光合作用失效地球氧氣大幅減少......
計算能力：根據(jù)上面的連鎖反應(yīng)進行各種災(zāi)害等級運算
在這題中GPT-o1 倒是第一時間意識到數(shù)秒內(nèi)地表會掀起超音速狂風(fēng)并且離赤道越近風(fēng)速越大（大可達343m/s）。
并且根據(jù)牛頓第一定律，其他物體會以原自轉(zhuǎn)速度向東運動，也就是如果你站在赤道那你會以465m/s的速度飛出去打破立定跳遠世界記錄~
在幾分鐘后由于地表摩擦的原因，地表溫度急劇升高可能會引起全球范圍內(nèi)的火災(zāi)然后就銜接到數(shù)小時之內(nèi)會有超過數(shù)百米高的海嘯出現(xiàn)。（PS：這里他沒考慮到地表溫度升高之后熱氣流產(chǎn)生到來的天氣運動可能會導(dǎo)致降雨）
在接下來的幾天到幾周時間地球質(zhì)量會重新分布，赤道會下降、南北極會上升數(shù)十公里，也就是地球會從一個橢圓趨向于變成一個球體。伴隨而來的就是頻繁的超10級大地震。
水會從赤道流向南北極導(dǎo)致海平面發(fā)生變化。（PS：小編提示從地理角度來說荷蘭將有大量沉在海底的陸地露出海平面并且由于相關(guān)規(guī)定，荷蘭將間接掌握大半歐洲的土地，原地升級超大陸地國，且土壤肥沃適合種田...嗯跑偏了。）
GPT-o1接下來的回答我并不滿意，因為我的要求是給出詳細的解釋，但他都是一筆帶過很模糊。比如晝夜溫差的問題他并沒有給出詳細數(shù)據(jù)，這其實對自然災(zāi)害防護來說是挺重要的。
Claude就給出了較好的解釋跟詳細數(shù)據(jù)，白天溫度超過60度，晚上降至-50度。而且晝夜溫差的問題也應(yīng)該是因為地球停止自轉(zhuǎn)所以短時間內(nèi)發(fā)生，而不是GPT-o1說的等到幾天之后。
在其他地方同樣如此，感覺當(dāng)問題思考長度上去之后，GPT-o1在計算這一塊比較懶，直接給了個公式。
Claude給出的答案則能讓我清晰感知到數(shù)據(jù)方便我做出準備。
后續(xù)當(dāng)我在提示詞中強制要求他計算時，他回答了個如果然后就卡了大概20分鐘，我手賤點了個刷新他就終止回答了。當(dāng)我第二次問的時候，他思考了13秒然后說由于政策問題它無法回答問題。我確信這是一個科學(xué)問題而非一個暴力問題且前面3次同樣問題的測試它都愿意回答。
GPT-o1
另一個問題就是在官方使用指南中提到，保持提示簡單直接，避免思路鏈提示。當(dāng)我遵循官方這個指示之后，GPT-o1給出的回答非常簡潔。
gpt 4o
甚至比gpt4o還要簡潔...真應(yīng)了那句話“真正聰明的人,都是‘很懶’的”？
基于以上的測試，我認為使用思路鏈提示或者說進行提示詞工程的調(diào)整仍然是必修課，因為現(xiàn)在的GPT-o1也許開創(chuàng)了一個新模式，真的在學(xué)習(xí)思考但他無法百分百保證他思考的方向就是對的或者嚴謹?shù)?，我們也要警惕陷入用思考時長來衡量答案質(zhì)量這個陷阱。
畢竟大牛karpathy也說了，GPT-o1-mini仍在拒絕嘗試解決黎曼猜想，這何嘗不是一種逃避思考？
生物問題測試
問題1 「榨干了DNA的人能活嗎？」
考察點：
目的：考驗AI對人體DNA的理解，畢竟AI也要廣泛應(yīng)用在生物工程學(xué)的研究中，如果不知道這些東西的作用談何研究？
這里GPT-o1首先闡述個DNA的作用和影響，我整理了一下：遺傳信息丟失（不孕不育了）；轉(zhuǎn)錄停止（影響發(fā)育）；蛋白質(zhì)合成中斷（不會變胖了）；線粒體功能受損（身體能量發(fā)動機壞了）。綜上所述，人廢了。
經(jīng)過計算一個成人體內(nèi)DNA總量大概在150g左右，抽干這150g數(shù)秒內(nèi)你只會覺得減肥成功，接著過幾分會開始肌無力并且意識模糊，再過十幾分鐘就昏迷了然后心跳呼吸開始不規(guī)律，再過幾小時人類史上第一個因DNA逃逸身體而生理飛升的人誕生了（R.I.P）。
而且這個死亡過程不可逆，其實咱可以理解為給細胞半衰期按了一個超快加速鍵，死亡是唯一的歸宿。
后一個就是AI屆的數(shù)學(xué)難題，9.11和9.8誰大？思考5秒，9.11比9.8大，心疼我的1.5元。
總結(jié)
在上面的測試中我按照官方說的物理、生物能力提升以及思考能力提升設(shè)計了幾道題目。在前面的表現(xiàn)中一樣的提示詞已經(jīng)超越了的它的有力對手Claude 3.5 Sonnet。
不作要求，獨立思考后的回答
但在隨后的地球停止自轉(zhuǎn)的連鎖反應(yīng)測試中我發(fā)現(xiàn)，隨著思考內(nèi)容的復(fù)雜化GPT-o1居然產(chǎn)生了惰性回答的很簡潔。
同問題gpt4o的回答
它的思考深度不再具備那么強的廣度和深度，甚至不如gpt 4o的表現(xiàn)。此外，它提到的內(nèi)容 Claude 3.5都提到了，他沒提到的氧氣減少Claude3.5也提到了。
第二當(dāng)我要求計算時GPT-o1前面倒是很認真算但到后面就直接放公式不執(zhí)行計算了。
當(dāng)我強制要求他計算后，他本來思考了25秒回答兩個字“如果”，然后卡在計算環(huán)節(jié)25分鐘不動然后自動終止了回答。但我提問為何時，他說我這個是暴力問題，何時地球自轉(zhuǎn)的問題變?yōu)楸┝栴}了，那前面又為何能回答？
相比之下，同樣的提示詞GPT-o1拒絕回答，Claude 3.5會給出詳細的計算并給出具體數(shù)值。
你們可能覺得我在大題小作，但換個說法，現(xiàn)在人類面臨危機隕石即將撞擊地球，然后需要借助AI計算隕石軌跡精確到具體的數(shù)值然后設(shè)計一套求生方案，你認為一個給出具體方案并執(zhí)行計算的AI更好，還是一個思考比較慢然后給出的答案只是一個公式的AI比較好？
我不否認GPT-o1的這次創(chuàng)新，但如果說作為用戶的角度來說。目前Claude 3.5通過提示詞工程可以提高回答質(zhì)量，而當(dāng)我通過修改提示詞強調(diào)所有內(nèi)容需要計算出具體數(shù)值讓GPT-o1進行計算的時候它第一次思考25秒后中斷回答，第二次告訴我是政策原因，那么前面同樣的問題它為啥愿意回答，
我相信GPT-o1肯定在一些尖端領(lǐng)域有了突破，在這樣龐大算力的加持下，力大磚飛也好，小鎮(zhèn)做題家也罷，需要先看看科研圈的人到底能用它突破什么。而不是他發(fā)一堆表大家集體狂歡。
值不值得升級？我認為如果你只是普通用戶，那么這次升級更看重的就是“思考”這一項能力能否幫助你，目前中等程度的問題回答能力第一，但復(fù)雜的思考會偷懶，且大部分場景下可以通過優(yōu)化提示詞讓Claude 3.5追上GPT-o1。
另外，第一時間愿意消費這個東西的大部分是高手，他們本來用的就厲害做出一些厲害的東西也容易有傳播度，受限于收費門檻大部分人容易被這些信息迷惑，以為只有更新了才能做到。其實你大可以先試試用他的提示詞然后在普通產(chǎn)品能不能達到那個效果再決定要不要消費。
后附上一段GPT-o1對OpenAI的吐槽：
以及Claude對GPT-o1的看法：雷峰網(wǎng)(公眾號：雷峰網(wǎng))
本文鏈接：http://m.morphism.cn/news42074.html實測 GPT-o1：學(xué)會了思考 也學(xué)會了偷懶
