譯者註：在《廣場與高塔》一書中，作者尼爾·弗格森詳細探討了歷史上權力如何在中心化權力結構（高塔）和去中心化網絡（廣場）之間不斷轉移。透過分析歷史事件，弗格森揭示了網路在政治、經濟和社會變革中的重要作用，強調了現代社會中網路力量的成長。
以弗格森的觀點為背景，本期 Delphi 播客圍繞中心化與去中心化 AI 兩種技術發展路徑展開了激烈對話。四位嘉賓首先剖析了信任與隱私在 AI 採用中的重要性，並細緻區分了不同類型的 AI 和背後的激勵結構。討論進一步觸及了消費者在便利性與隱私保護之間的選擇權問題，以及中心化權力所帶來的脆弱性和安全隱患。
討論的核心問題之一是如何建立一個去中心化的 AI 競品，特別是在當前高度集中的技術範式下。嘉賓們分析了現有的規模模型及其局限性，並討論了開源解決方案的潛力。他們認為，隨著國家安全的考量和經濟價值捕獲的需求，分散式方法的重要性日益凸顯。
此外，播客還討論了經濟價值捕獲和分銷在 AI 商業模式中的作用，以及大公司與小公司在分銷渠道上的護城河問題。透過對 OpenAI 與 Meta 不同商業模式的對比，嘉賓們詳細闡述了去中心化 AI 和加密貨幣的顛覆潛力，特別是在信任和確定性執行方面的優勢。最後，他們展望了 AI 在區塊鏈上的金融化潛力，並指出 AI Agent 的廣泛應用將成為這一領域的指數級增長催化劑。
文章很長，建議收藏。
TL;DR
· Delphi 研究員Michael Rinko 認為資本主義為科技發展提供了很好的激勵機制。私人公司透過開發有用且對人們安全的產品來獲得豐厚的回報。因此，把 AI 這項技術交給私部門並不像人們想像的那麼糟糕。各個私營部門中的競爭對手會為了成為最有用的技術提供者而互相競爭，最終將這些技術以最安全的方式提供給消費者。相反，如果讓這項技術完全開放，有些人會利用這些技術來進行惡意活動，目前還沒有找到有效的方法來阻止他們。最好的方法是提供某種受控的訪問，這正是私營部門所能做的。
· Gensyn 聯創 Ben Fielding 認為資本主義奏效的前提是可審計性。如果沒有審計機制，公司可能會在追求利潤的過程中做出對世界有害的事情。開源模型則可以在不影響公司開發模型能力的情況下實現可審計性。此外，討論 AI 的危險時不應該涉及它在未來理論上可能做的事情，因為任何可能性都是存在的。
· Ambient 聯創 Travis Good 認為大公司將不得不轉向更分散式的 AI 發展範式，以實現規模化。目前的範式成本高且難以達到超大規模，他們必須在某個節點上進行轉變，而這種轉變對他們來說是非常昂貴的。模型的擴充本身不會停止，但我們成功管理和部署這些模型的能力會在模型效能下降之前就開始下降。
· Delphi 研究員 Pondering Durian 認為，目前資本市場和大公司之間存在一個反身循環。大公司獲得了很多廉價資金，所以有很大的火力去追求規模法則。但大問題在於，大公司是否有足夠的收入來證明持續投資的合理性？如果不能，人們就會停止為它們提供資金，Google、Amazon 和 Facebook 都會受到嚴重打擊，它們將無法建立那些 1000 億的集群。
· Ben Fielding 認為大模型公司真正的護城河是實際的分發能力。 OpenAI 將試圖提供利用智慧進行分發的軟體，但很快，所有擁有分發能力的公司都會想要脫離 OpenAI。 Meta 認識到他們的護城河是他們將這些模型分發給使用者的能力。他們能夠將這些模型應用於實際的現實世界中，而不僅僅是試圖從模型本身賺錢。所以他們驅動開源模型，不是出於利他主義，而是為了實際的戰略利益。
· Michael Rinko 認為加密能為 AI 解決的問題有三點：第一，加密是無信任的。在加密中你不必信任任何人，我認為這對 AI 來說是一個很有吸引力的特性。第二，加密是確定性的。現實世界是隨機的，充滿不確定性，但 AI 不喜歡這種不確定性，它會更喜歡確定性執行，加密提供了這一點。第三，AI 可以透過加密實現超級資本主義。加密可以將任何東西金融化，AI 可以利用這一點來累積資源。 AI Agent 的廣泛應用將成為加密實現指數級成長的催化劑。
Tommy：我是Delphi Ventures 的創始合夥人Tommy，很高興今天能主持這場關於加密AI 與中心化AI 的討論。我邀請了四位業界頂尖的專家，讓他們來介紹自己。首先是 Gensyn 的共同創辦人 Ben Fielding。 Gensyn 致力於透過去中心化計算來推動機器學習的邊界。我們還有 Ambient 的共同創辦人 Travis Good，他們專注於世界級的開源模型，也是我們的投資組合公司。這兩位代表加密 AI 陣營。
Delphi 方面有高級市場分析師Michael Runco，他在2024 年2 月撰寫了Delphi 的首份AI 報告《The Real Merge》。還有匿名分析師PD，他撰寫了關於中心化與去中心化AI 的精彩報告《The Tower & the Square》。這也是我們今天要討論的主題。
讓我們照這個順序做個簡短的自我介紹，Ben 先開始吧。
Ben Fielding：謝謝邀請。我是 Gensyn 的共同創辦人，Gensyn 是一個機器學習計算協定。你可以把我們看作是一個協議層，有點像早期的網絡協議，能夠覆蓋具備機器學習能力的硬件，並允許它被用於全球任何機器學習訓練任務。我們的理念是，不再局限於使用 AWS 或Google雲端這樣的資源來訓練模型，而是可以利用全球任何設備。你可以直接將模型傳送到單一設備，或選擇一部分設備組成任意規模的計算群集。這將機器學習運算變成了一種類似電力的商品，而不是必須從某人那裡租用和預定時間的 GPU。它變成了一種始終可用的交易市場。
Tommy：很有幫助。 Travis，輪到你了。
Travis Good：好的，我是 Travis，Ambient 的共同創辦人。我的教育背景是 IT 博士，過去十年一直專注於 AI 相關的產業應用，包括與藥物發現和關鍵基礎設施相關的專案。
Michael Rinko：大家好，我是 Michael，Delphi 的分析師，主要關注市場分析，但也涉及其他領域。正如 Tommy 所說，我幾個月前寫了一份關於 AI 的報告，今天很高興能和大家討論這個主題。 PD，你來介紹一下自己吧。
Pondering Durian：大家好，我是Pondering Durian，Delphi 研究團隊的一員，主要負責研究和投資消費者互聯網、企業軟體和加密領域。很高興能參與這次討論，期待與大家交流。
中心化與去中心化AI 的對比
Tommy：PD，能不能先介紹一下你的報告內容？這是我們今天討論的起點。
Pondering Durian：好的。報告的標題是《The Tower & the Square》，是對史丹佛歷史學家Niall Ferguson 的書的致敬，他在書中探討了層級和網絡之間的動態關係。我認為過去 30 年是網路崛起的故事，從全球化、自由化、資本主義到網路、加密貨幣和社群媒體等，都是網路崛起的表現。然而，在過去五年裡，傳統層級結構又重新顯現，國家和企業重新佔據主導地位。而 AI 的出現似乎在目前的形態下確實是一個相當大的中心化力量。因此，擺在我們面前的真正問題是，未來是少數西海岸巨頭控制的數萬億參數模型，還是各種形態和規模的去中心化模型的世界？兩種觀點都有很好的論據，這就是我們今天要討論的內容。
Tommy： Ben 或Travis，你們誰先開始？作為更傾向開源陣營的一方，你們的觀點是什麼?
Travis Good：好的，我來複述一下PD 的觀點，看看理解得對不對。你提到我們已經看到這個領域出現了大規模整合，實現了垂直擴展，這為閉源 AI 帶來了明顯的優勢。我基本上同意這個判斷。
然後你提出了兩種可能性：我們是要面對閉源陣營推出的萬億參數基礎模型，還是會出現大量不同的模型？我想補充一點，還有第三種可能：開源陣營也可以發展自己的萬億級參數模型，在能力上與閉源模型一較高下。
我可以這樣大致概括你的觀點嗎？
Pondering Durian：是的，你說得很好。目前我們看到垂直整合的產品在能力上遙遙領先，但這些模式並沒有證明自己像 Web2 時代那樣具有黏性。所以目前看起來閉源玩家似乎佔優勢，但未來如何還有待觀察。我認為去中心化 AI 和開源社群有一套可行的方案，可以在大規模模型以及整個技術堆疊的各個層面提供替代選擇。
Travis Good：完全同意。我認為在這個時候，可能有必要區分什麼是理想的，什麼是可能的。在閉源 AI 的可取性方面，我想和大家一起思考一下，歡迎大家隨時插話。很多人可能聽過這個觀點，我們都是「賽博格」。我們的生活已被電腦深度介入，並不斷從各種設備獲取資訊。我們已是「增強人類」。我認為 AI 或 AGI 將成為我們未來的「協處理器」，我們將不斷與之互動來提升自己。未來它甚至可能直接與我們的大腦整合。
那麼問題來了：你希望這個「協處理器」值得信賴嗎？我很難相信這些垂直整合的「監視資本家」能提供可靠方案。從個人角度來看，讓這些曾經濫用用戶和客戶的公司掌控我們的思維，似乎極度危險。我們不接受 NSA 企圖在我們所有加密通訊中植入後門的 Clipper 晶片，我們也不應該接受閉源公司試圖介入我們和這個幫助我們思考的思維協處理器之間。
這是我對個人層面的看法。在談社會層面前，我先停下來，聽聽大家的想法。
Ben Fielding：我完全同意這種未來觀。我認為機器學習和 AI 作為人類能力的增強是最明顯的發展方向。
其實，我們已經在經歷這種技術進步了。例如，看看我們如何使用互聯網，以及那些在共享知識庫環境中成長的一代。雖然我沒有具體的參考資料，但有研究表明，我們記憶資訊的方式已經發生了變化，現在我們更多的是記住如何透過 Google 等工具獲取信息，而不是資訊本身。我認為這種趨勢會持續，人類會圍繞著這種新工具學習，最終與之完全融合。我同意，不應由某個單一實體控制這種工具，我們不希望這個實體擁有對我們大腦中內容的審查能力。
我認為，從激勵系統的角度來看，這些企業並沒有做什麼惡意的事情，它們只是追求利潤，這是我們對企業的期望，也是系統設計的初衷。但我們現在需要思考的是，如何在保留這種激勵機制的同時，透過小小的調整，避免過多的權力集中在一個地方。歷史上我們已經看到了壟斷的負面影響，尤其是在某些領域，這種影響是非常嚴重的。而在 AI 領域，這種影響可能會進一步放大，因為它直接影響人們的思維。你可以說，這種情況在社群媒體上已經發生了，而 AI 將是這種影響的更深一層。因此，我完全同意你所說的觀點，這也是我們對未來世界的看法。
Michael Rinko: 我想從另一個角度提出一些觀點，扮演一下「反方辯手」的角色。
我認為關於這個主題的一個挑戰是，大家討論的具體是什麼類型的 AI？我們是在談論現在的 AI，例如聊天機器人或 ChatGPT，還是未來幾年可能出現的通用人工智慧（AGI），或是能夠統治世界、殖民銀河系的人工超級智慧呢？
不同類型的 AI 所面臨的權衡和激勵機制是不同的。我認為最容易理解的是現在我們面臨的情況：如何利用目前的技術來建立一個盡可能安全的世界。毫無疑問，目前閉源 AI 可能是我們管理這項技術最安全的方式，對於可預見的未來也是如此。我會列出幾個觀點，希望聽聽你們的反應。我認為，當你提到激勵機制時，這引起了我的一些思考。
實際上，我認為資本主義和我們目前的經濟體制提供了很好的誘因機制。公司透過開發有用且對人們安全的產品來獲得豐厚的回報。如果你開發的產品不夠有用，或是對人們造成了傷害，你就賺不到很多錢。換句話說，從根本上講，目前的激勵機制似乎是有效的。我們每年創造了大量財富，不平等現像有所下降，這些指標總體上顯示世界在不斷進步，我認為這很大程度上歸功於資本主義，透過這種獎勵機制，鼓勵人們以安全的方式解決問題。
我看不出 AI 會讓資本主義失效。所以，我認為把這項技術交給私部門並不像人們想像的那麼糟糕，因為這只是信任資本主義能夠發揮作用。各個私營部門中的競爭對手會為了成為最有用的技術提供者而互相競爭，最終將這些技術以最安全的方式提供給消費者。如果你相信這個基本原則，那麼通常來說，就會出現以最安全的方式提供的最佳解決方案，這就是一個好的未來。
相反，如果讓這項技術完全開放，任何有電腦和互聯網的人都可以創建和傳播這些 AI。那麼，雖然可能不是現在，但在未來的某個時刻，這些 AI 可能會造成重大損害和傷害。世界上有些人會利用這些技術來進行惡意活動，而我們目前還沒有找到有效的方法來阻止他們。我認為，最好的方法可能是某種受控的訪問，而這正是私營部門所能提供的。
AI 採納中的消費者偏好與安全問題
Pondering Durian: 我可以插一句嗎？我想補充一點，因為我認為關於資本主義和安全的論點很好，但我也想提到，隨著時間的推移，每一代消費者基本上都選擇了便利而不是理想的隱私解決方案。所以，實際上，在接下來的三到五年裡，我更擔心的是，每個消費者的口袋裡都有一部蘋果iPhone，大家都在使用Google，他們有這個美妙的Google 套件，這個套件將與AI 整合在一起。如果認為這些由大公司營運的協處理器不會自動以最簡單的方式被消費者所接受，並逐漸成為預設解決方案，實在有點過於理想化了。
這些產品會非常好，正如 Michael 所說的那樣。因此，你可能會滑向一個危險的坡道，因為這些自然優勢，使用者會傾向於選擇這些產品，即使從社會層面來看，這些產品並不理想。這是我想補充的一點。
Ben Fielding: 是的，我同意這種發展趨勢，特別是對使用者而言，僅靠意識形態理由來推動某種產品的採用在大規模應用中並不奏效，這可能只會吸引一小部分用戶，但不會廣泛傳播。我的上一家新創公司專注於消費者隱私，我非常明確地學習到了這個教訓，而且學得很辛苦。
但回到Michael 的觀點，當你提出另一個選擇的危險性時，你的論點是基於當前的現實，但很快就跳到了未來可能發生的事。我認為，每當我們討論 AI 的危險時，總是會涉及它在未來理論上可能會做的事情，我們進入了一個無限的可能性空間。如果我們現在考慮這個系統實際上能做的危險，而不是未來的假設能力，這樣的討論會更有意義。否則，我們會失去反駁的能力，因為任何可能性都是存在的。
關於資本主義解決這些負面影響的問題，我同意，前提是要有審計性。如果沒有審計性，如果公司可以在追求利潤的過程中做出對世界有害的事情，而這種行為從未影響到它的利潤，我認為作為一個經濟理性行為者，這家公司可能會這樣做。因此，我們必須在系統中引入某種審計機制，以發現這些問題。
你可以從政府監管的角度來解決這個問題，或者可以採取另一種方式，即開放開發某些技術。我認為後者對世界更好，因為我們可以在不影響公司開發模型能力的情況下實現審計性。特別是，當模型的價值並不完全體現在它的架構上，而是在其他地方時，這一點尤其重要。目前我們仍在探索機器學習模型的真正價值。我個人認為，價值在於分發能力，但實際上我們在這個問題上一直在探索和調整。我認為模型的架構本身可以是開放的，但在資料和應用等其他領域可能存在專有價值。
Travis Good: 我想插話，補充一下你的觀點，同時也稍微表達一下不同的看法。我在做一些筆記，Michael，你首先談到了激勵機制以及它們的良好效果。我認為普通消費者可能會不同意你的看法。
Cory Doctorow 談到了互聯網的「大衰退」，任何使用過Google 的人都知道，與過去相比，它的用戶體驗變得很糟糕。對企業來說，廣告體驗也是很差的。衰退發生在去中介化的參與者，例如 Google，開始過度佔據了蛋糕的一部分。我們從對 Google 的訴訟中了解到，它實際上操控了遊戲規則，使廣告價格上漲，對用戶提供了很難找到有用結果的體驗。而且，他們對此並沒有受到實際的懲罰。我們需要更深入地探討原因，或許是因為公司行為的不當監管或缺乏監管，可能是因為慣性，但最終我們得出的情況遠未達到資本主義的最優狀態。
我們實際上得到了一個所謂的“寡頭最優」狀態，監控資本主義者獲得了豐厚的回報，而幾乎所有其他商業類型都受到了影響。例如，我不認為新聞媒體對 Facebook 多年來的處理方式感到滿意。所以，我認為，要了解未來的趨勢，只要看看過去的經驗。例如，看看青少年憂鬱症的上升，以及 Facebook 演算法的操控，所有這些濫用行為都可以作為借鏡。
Michael Rinko: 我認為你提出了一些很好的觀點，Travis，我會回應其中的一些。我們可能只是觀點不同，我對科技的發展持非常樂觀的態度。我認為，縱觀人類歷史，科技的進步總體上改善了人們的生活。如果你把一百年前的人帶到今天，他們會發現能夠即時發送簡訊、視訊通話、叫車到家門口、點餐送上門，簡直就是純粹的魔法。
所以，雖然青少年憂鬱等副作用確實存在，但這些問題相比技術帶來的巨大好處，只是一個小部分。 AI 也不會例外。此外，關於未來可能的危險，我承認這確實是一個問題。 AI 特別難以理解，即使是頂尖實驗室也無法完全理解為什麼模型會做出某些行為。
而且，如果你看看歷史上那些雙重用途或具有危險性的技術，例如原子彈，你可以透過測試來判斷它的危險性。如果它爆炸了，那顯然是危險的，不應該被釋放；如果不爆炸，那它就不起作用，也不危險。而對於這些模型，我們無法明確界定它們的作用範圍，所以是否應該發布它們的問題非常模糊。這使得監管機構或頂尖專家很難設定安全措施。我想知道你們對此有何看法。
Travis Good: Ben，你要先回應嗎？
Ben Fielding: 簡單回應一下，你提到了樂觀主義，但我們不知道這些技術將來會如何呈現自己，所以假設它們會帶來負面的情況。當然，樂觀的立場是它們目前沒有負面影響。我們不知道未來是否會有不好的結果，但樂觀地看，應該沒問題。然而，當涉及到模型本身及其未來的表現時，樂觀態度就變得悲觀了。
Tommy: PD，我也想聽聽你的看法。
Pondering Durian: 對，回到 Travis 的觀點，不可否認的是，市場集中度在過去幾十年裡急劇上升。消費者因為難以找到所需的訊息，而需要某種形式的內容規劃。這實際上就是 Ben Thompson 在過去近二十年所主張的，如果你在線上聚合需求，那麼供應就會隨之而來。因此，圍繞著這些「圍牆花園」形成了網路效應，因為它們的策劃能力很強。
這些公司透過其特權位置，形成了資料壟斷和現金流壟斷，賦予了它們巨大的市場權力，隨著時間的推移，這些權力逐漸變得更具剝削性，而不是網路初期的成長階段。由於 AI 更像是一種延續性的技術而非顛覆性技術，它實際上進一步鞏固了這些市場權力，除非我們有不同的解決方案。
要成為主導的基礎模型，現在的關鍵因素是人才、資料分佈和資本。從主導 Web2 時代產生的網路效應和使用者來看，這些實體在 AI 新時代中處於非常有利的位置。考慮到計算成本的高昂和它們所擁有的專有資料集，從我的角度來看，雖然這可能不是最理想的社會狀態，但這是我們當前系統的現實。
我不認為資本主義是壞的，但現在有四、五家公司確實擁有很大的市場權力。看看 S&P 500 指數，五家公司佔了 30% 的份額，而且還在增加，這確實是一個問題。在下一代網路中，去中心化的趨勢可能不會出現，反而會進一步集中。因此，這一點值得關注，因為我們所創建的系統中確實存在著推動幾家公司擁有大量市場權力的結構性逆風。
Travis Good: 安全性問題經常被提到，我不想跳太遠到未來，但我確實想指出一些關於目前配置的威脅模型的問題。現在我們有四家公司掌握所有數據，未來它們會擁有更強的 AI 能力。我認為這是一個非常糟糕的威脅模型。
首先，這些公司都曾被駭客入侵。例如，微軟在多次審計中未能保護關鍵的國家安全數據，甚至遺失了本應無法被盜的硬體金鑰。集中所有資料和這些模型的能力，使這些公司成為每個國家、獨立駭客組織等的最具吸引力的攻擊目標。如果這些權力更為分散，我們有可信的開源競爭者來執行某些功能，這種情況可能會有所改善。
Michael Rinko: Travis，我可以插一句嗎？
Travis Good: 當然。
Michael Rinko: 你提到當前技術狀態下的寡占，未來的AI 技術世界中資料集中會有什麼不同？如果這些寡頭繼續存在，會有何進展？
Travis Good: 讓我具體說明一下。現在 ChatGPT 已經整合到各種應用中，如 Notion、Evernote、電子表格等。它在許多程式中代表用戶行事的能力意味著數據累積量驚人。結合透過監控資本主義所獲得的數據，所有從手機、網站 cookies 等收集的訊號，產生了詳細的個人情報檔案。這種資料集中形成了巨大的國家安全威脅，例如幾年前美國政府的背景調查提供者被駭客入侵，導致安全清單被盜，這是一場災難。
我們從許多內部人士得知，這些公司的安全性非常糟糕，政府的安全性也很差。如果我們認為這是健康的範式，那我們就陷入了一個非常脆弱的局面。
Tommy: 我覺得目前兩方觀點似乎一方是意識形態上的，例如加密AI 更注重消費者偏好、隱私和未來的好處。而另一方是現實主義的，例如中心化 AI 擁有最多的數據、硬體和人才，更直覺的使用體驗。 Ben 或 Travis 能否描述一下如何建立一個實際的競爭替代方案？
去中心化AI 的優勢與潛力
Travis Good:</ strong> 我認為這是一個很好的問題，它涉及到什麼是理想的和什麼是可能的。因此，我很樂意先試著回答一下，然後再交給你，Ben。從可能性角度來看，我認為重要的是要注意到，機器學習（ML）並不是一個嚴格的科學領域，實際上任何人都可以對其做出貢獻，而且已經有很多貢獻是對先前範式的相對簡單的改變。所以，ML 的進入門檻相對較低。
這對未來的開源能力來說是個好兆頭，因為隨著運算成本越來越低，人們將有能力在更大的規模上進行實驗和創新。我認為世界各地的人才將會在這個領域中動員起來，投身這項事業。我也認為，許多國家的政府會意識到，他們希望在新的經濟範式中保持競爭力，因此他們會資助許多這方面的研究。全球的研究機構也會專注在這個領域建立能力。
目前我們還沒有完全到達這一點，我們有一些模型大致接近前幾代模型，但我認為未來非常光明，因為全世界的人才將不僅僅集中在舊金山，而是應用於解決這項具有巨大經濟回報的挑戰。
Tommy: 是的，這非常有幫助。 Ben，我想聽聽你的看法，你對 Travis 的想法有什麼補充嗎？
Ben Fielding: 我認為我們討論的兩種觀點有些模糊，因為雙方基本上都在說我們想要的是高水準的正常資本主義行為和競爭。但目前「塔式模型」的發展方向是，大型模型建構者的激勵機制是阻止這種競爭發生。他們不一定希望有那種程度的競爭，ML 底層的資源在很大程度上可以被控制，以阻止過多的競爭發生。
但正如 Travis 所說，ML 本身並不難。所需的專家知識已經被去中心化了，學術出版物已經實現了這一點，你可以獲得這些論文，至少在 OpenAI 開始集中研究人員去建立模型之前，你可以獲得程式碼來實現這些模型。但接下來你會遇到數據訓練模型的瓶頸，這在很大程度上也已經被開放了，因為互聯網上有大量的開放數據，儘管我們可能會遇到版權問題，但作為個體，你仍然可以獲得大量數據來訓練這些模型。
接下來是計算資源的限制，計算資源是比較容易被控制的。如果你擁有無限的資源，你可以佔有這有限的資源的大部分，並將其鎖定。這些模型建構者還擁有最大的雲端服務生態系統，這意味著他們能夠控制資源的供應和使用成本。
如果我們展望未來，ML 將成為依賴電力的東西，最終是電力轉換為知識轉化。你需要特定的硬體來實現這一點，所以硬體資源是可以被捕獲的。如果讓這種情況繼續發展，大公司將透過捕獲底層資源來控制利潤，這不是我們想要的結果。
如果是實際競爭的價值傳遞到最終用戶，那麼讓它變得盡可能開放是好的。但這並不是完全開放的競爭，而是對資源的捕獲和租賃，而這並不是資本主義的良好結果，我們希望的是實際的價值創造。
最終，模型透過使用會被不斷削弱，這意味著模型本身無法長期維持其競爭優勢。我們需要找到其他方式來保持競爭力，例如建立生態系統，讓更多人參與其中，實際競爭提供價值的介面，而不是資源的捕捉。這樣，ML 的真正價值在於使用者層面，提供實際改善生活的東西，並透過前端競爭推動技術的不斷發展。這樣，背後可以是一個完全開放的生態系統，提供更豐富的競爭和更好的結果。
Travis Good: 首先，我認為 Ben 所說的非常出色，他比我更清晰地表達了許多觀點。其次，我想從歷史的角度來評論一下目前的可能性。我們在 AI 計算資料中心看到的大規模成長有點像是意外的淘金熱。如果 ChatGPT 從未發布，我們可能不會看到這種對特定範式的模型訓練的關注。
現在，這已經成為範式，大玩家們都被鎖定在這個模式中。這對他們來說是一個容易進入的模式，因為資本投入產出相對明確。訓練方法和秘密配方相對簡單，問題是，哪些資本主義激勵機制可以對抗這種情況。我認為，分散式訓練或高效訓練的形式，能夠利用長尾運算資源的訓練將會出現，因為它們具有巨大的經濟價值。
只要我們能防止Ben 提到的最壞情況發生，例如透過監管鎖定所有運算資源，我們就可以期待有開源、對消費者友好的分散式訓練解決方案的出現。最近，我們已經看到了一些巨大的進展，例如不需要矩陣乘法的訓練技術，這顯著降低了資料共享的需求。還有其他許多論文在繞過當前範式的頻寬限制。雖然我們還沒有完全實現，但我預計在一年內，我們會看到三種強大的替代大數據中心範式的方案，這將為開源努力增添一些動力。
AGI 的發展路徑辯論
Michael Rinko: 我認為你們都提出了非常有說服力的觀點。對我來說，現在的一個大問題是，規模法則是否成立？你是看好還是看衰規模法則？讓我來解釋一下這兩種情況。如果你看好規模法則，那麼你會盡可能地累積運算資源，並希望透過擴展這些模型來獲得越來越強大的模型。如果你看衰規模法則，那麼你認為在某個節點上，計算和損失之間的關係會中斷或至少平穩下來。你可能認為這些模型可以被簡化，或者你認為當前的深度學習範式是錯誤的，AGI（通用人工智慧）將來自於與當前模型完全不同的方法。
我沒有非常明確的看法，但在我看來，有兩種截然不同的陣營。 OpenAI 和 Anthropic 以及 Google 是規模法則的堅定支持者，自從 GPT-3 論文發表後，這些公司一直在盡可能地累積運算資源，認為規模是通往 AGI 的關鍵。而另一邊，包括許多加密 AI 領域的人和 Meta 的頂尖研究人員則認為，LLM（大型語言模型）不會帶來 AGI，我們需要新的方法。你們怎麼看待這個問題？因為如果確實是規模和計算資源決定一切，那麼我不知道如何擊敗那些大公司。所以我們似乎都暗中下注，僅靠擴展模型無法解決問題，因為那樣我們就進入了一個無法贏得的資源競賽。
Ben Fielding: 我不認為規模的問題只指向中心化的方法。我認為，這裡有一個不同的轉折。你想想規模，意味著什麼？我能否在一定數量的設備上創建模型，我能否創造更多的設備並在其上創建模型？我們目前處於一個蠻力擴展的範式，即以最中心化、最容易建模的方式投入計算資源，我們獲得了快速的勝利，展示了可能性。這就像是機器學習的尖端，讓世界意識到類似 ChatGPT 這樣的東西實際上是可能的。但接下來會發生什麼事呢？一旦證明了這一點，接下來會有一波改進浪潮。這不再是研究問題，而是執行、工程、效能最佳化的問題。因此，後續將會有一個巨大的浪潮，將這些模型商品化、縮小、量化、壓縮、稀疏化，使其運行得更快、更容易。
你需要有實際的證據來證明這是可能的，需要大量的計算資源來實現這種可能性。但隨後所有的產品都可以以不同的方式，更小的方式建構。蠻力的方法本身已經開始碰壁。
Michael Rinko: 為什麼會碰壁？
Ben Fielding: 資料中心空間和足夠多的設備互聯規模變得越來越困難。我曾經認為這是資金問題，你需要越來越多的錢來實現這一點。我曾經向 Meta 的一位高層提到這一點，他笑著說，基本上我們有無限的資金，不是資金問題，而是地理位置的問題。地球上沒有那麼多地方可以建造能夠維持這種規模互連設備的資料中心，這使得超大規模的資料中心轉向了水平擴展的路線。
現在你會看到一波論文說，嘿，其實我們可以做多節點、多資料中心建模。試想一下，這代表什麼？谷歌可以在三個資料中心上進行這種建模，但如果有人能在四個、五個資料中心上進行建模呢？最終，這種擴展的極限是將全球所有的設備連接起來，這需要跨公司合作。所以，單一公司與其他所有公司競爭是不可能勝出的。如果你能建立一個讓這種連結發生的層，那將是最終的擴展勝利。
Michael Rinko: 我明白了。我想確保我理解這一點，因為這是一個重要的問題。你是說我們不能讓資料中心比現在更大，還是說我們不能在一般情況下建造更多的資料中心，因為電力不足或其他原因？
Ben Fielding: 不是不能建造更多的資料中心，而是會有遞減效益。要找到能夠支援所需電力和冷卻需求的地理位置，符合當地噪音法規，並能容納足夠多設備的地點變得越來越難。這導致超大規模公司在爭奪地球上剩餘的適合地點。某種程度上，這會有一個邏輯終點。
如果你能激勵人們在世界各地建造這些資料中心，而不僅僅是在單一地點，那麼你就可以將這些設備連接起來，創建一個更大的集群。這會帶來一些負面影響，例如這些分佈更廣的小型集群之間的通訊速度較慢，但這不是一個不可逾越的問題，而是我們可以透過工程手段解決的問題。我們有豐富的網路歷史來克服這些問題，例如延遲問題和分散式系統工作。
Travis Good: 我認為這個問題有兩個答案，Ben 提供了其中之一，我有一個可能你不同意的觀點。我認為一個答案是，大公司將不得不轉向更分散的範式，以實現規模化。這將減慢它們的速度，因為它們現在處於錯誤的範式中。目前的範式成本高且難以達到超大規模，他們必須在某個節點上進行轉變，而這種轉變對他們來說是非常昂貴的。
另一個問題是，即使我們解決了這個問題，並且可以無限制地擴大規模，模型能力是否會達到一個平台期？這是一個關於模型能力與資源的關係的問題。我認為這個問題與模型的對齊有關。以安全關鍵應用為例，黃金標準是形式化驗證系統，也就是你必須數學證明系統在特定條件下的行為。這在大型語言模型中是非常困難的，因為每次與模型互動都會創建一個功能上不同的路徑。
我認為擴充本身不會停止，但我們成功管理和部署這些模型的能力會在模型效能下降之前就開始下降。我認為我們已經到了這個節點。
Michael Rinko: 我們現在不懂模型為何會輸出某些結果。
Ben Fielding: 我們在技術上遇到了這個問題，我們正逐步進入一個機率世界。自動駕駛汽車是一個很好的例子，我們知道它們在統計上比人類駕駛更安全。但因為它們是機率性的，我們在接受它們會做出安全選擇時存在社會障礙。我們需要從形式化的邏輯轉向機率性的邏輯，從整體來看，這對人類是有利的。
Travis Good: 我認為這是一個非常合理的觀點，但我想補充一點，就是在接受這些主張的情況下，如果AGI可能會做出極度危險的事情，那麼一個錯誤可能會對文明造成災難性的後果。問題是，如果我想部署一個系統，而有 30% 的可能性因為我有這個無限的 API 攻擊面，這個系統會對文明造成災難性的壞結果，我能按照你的模型部署它嗎？我的答案是絕對不行，然後整個發展曲線會在大家嘗試做基礎研究，找出如何實現超對齊之前停滯一段時間。這是我的思維模型。
Ben Fielding: 這需要假設可能會發生一些巨大的負面結果。目前沒有實際的例子表明模型現在能夠做什麼。例子總是說，如果模型將來能夠做什麼。這總是一個可能性，這是機率模型的特徵。我們需要接受一個事實，即可能會有非常高影響、但機率非常低的負面結果，作為人類，我們在與世界互動時本來就是在處理機率問題。我們需要從更命令式的技術轉向機率性的技術。
Pondering Durian: 我感覺這個主題很快會陷入 AGI 和超對齊的討論。因此，回到封閉與開放的問題上來。
Tommy: 謝謝你把話題拉回正軌。
Pondering Durian: 我的觀點是，目前資本市場和超大規模公司之間存在一個反身循環。它們獲得了很多廉價資金，顯然它們有 4000 億美元的資產負債表，產生了 1.5% 的 GDP 現金流，預計將花費 1 兆美元在資本支出上。所以它們確實有很大的火力去追求 Michael 所說的規模法則。大問題是，是否有足夠的收入來證明持續投資的合理性？每一代模型帶來的最大價值捕獲，以及它們是否能從企業和新創公司中獲得下一個 1000 億的收入，因為這些公司使用並依賴它們的模型。如果不能，人們就會停止為它們提供資金，Google、Amazon 和 Facebook 都會受到嚴重打擊，它們將無法建立那些 1000 億的集群。
我認為這裡的金融限制是關鍵問題。所以問題在於這些集中模型的資本支出能否得到回報。這涉及到大型基礎模型的最終護城河是什麼，以及這些分佈式系統能多快趕上或這些分佈式訓練運行能多快趕上，還有在非常高端領域的價值捕獲有多少與被商品化的部分相比。我想聽聽 Ben 和 Travis 對此問題的看法，因為對我來說，這似乎是我們正在處理的演算法，即這些大規模前期投資的回報能帶它們走多遠，涉及到規模法則的問題。
經濟價值捕捉與分配
Travis Good: 我可以快速回答。我認為這是一個雪球模型。我曾向你們大多數人表達我的觀點，我認為 AI 是一種經濟替代技術。基本上，AI 模型越強大，它們替代的經濟工作越多，它們就越有價值。回到 PD 的觀點，問題是是否會有一個時刻，人們認為這個雪球不會繼續滾動下去，人們會膽怯，不願意再投入更多資本支出，因為他們認為已經達到了回報遞減的點。我實際上認為這個時刻可能是當我們遇到真正的對齊問題時，因為我們實際上沒有一個好的機器學習理論來解決這些問題。
然後我想評論一下開放和封閉原始碼的事情。我實際上認為在一個安全研究是公開的世界中，AI 的經濟價值會更高。因為這減少了任何人對安全研究的現狀不知情的風險，也減少了國家和機構沒有採取正確保護措施的風險。讓這些訊息盡可能廣泛地傳播對每個人都有利。
Michael Rinko: 那麼我們能否將你剛才所說的與核彈競賽相比？你會希望當時的基礎研究是開源的、廣泛傳播的嗎？當時有一種觀點，甚至一些頂尖科學家認為，如果每個人都知道最新的研究狀態，那麼這會像是一種相互確保摧毀的局面，我們都會擁有同樣的東西，都會同時把槍口對準對方，這會帶來最安全的世界。而另一方則認為我們需要先行一步，我們需要先到達終點，然後把大槍對準對方，這樣無論對方做什麼，我們都能取得勝利。我實際上認為這是一個很好的類比，它可能不是完美的，但在目前的 AGI 競賽中，這是一個很好的對比。
Travis Good: 我很高興你問這個問題，因為我實際上認為這是一個絕對錯誤的類比。讓我解釋一下。首先，我們需要從歷史上看實際上發生了什麼。我們認為我們有一條通往軍事優勢和統治地位的路線，但現實是這些技術幾乎立即洩漏了。我們可能有這種完全改變權力平衡的慾望，但現實卻重新建立了權力平衡。所以我會問那些追求這種策略的人，是否真的認為這是一個現實的目標。
其次，機器學習研究的性質與物理研究如此根本不同，以至於這個類比完全站不住腳。具體來說，我認為有兩種範式可以看：一種是機構範式，即你可以控制一小部分合格的科學家，這可以由國家控制。另一種是網路連結範式，即你有一個極其廣泛分佈的知識基礎，進入這個領域所需的技能門檻相對較低，只要你給他們運算資源，世界各地有很多人都可以參與。因此，從網路分析的角度來看，試圖在機器學習上實施機構模型的想法是完全可笑的。如果你遵循這種政策，你實際上是在將所有美國的機器學習研究鎖定三年，這對公眾獲取經濟利益是巨大的損失，然後四年後，或者甚至更快，這些技術會被外國政府偷走。所以你會進行很多安全措施，但不會帶來任何好處。
Ben Fielding: 僅從核武的例子來看，我們最終達到了相互確保摧毀的狀態。你假設開放的方式會不利，但實際上如果是開放的，我們可能會在沒有使用這些技術的情況下實現相互確保摧毀。是否需要有一個證明點來展示這項優勢？或者我們可以跳過中間的階段，直接達到相互確保摧毀的狀態，而不需要經歷對世界非常有害的中間過程？
Michael Rinko: 我認為你們都提出了很好的觀點。我同意核武的出現直接促成了長期和平時期。自二戰以來，我們避免了大規模戰爭，很大程度上是因為現在可以摧毀整個國家。我認為這是一個有用的威懾力量，現在多方擁有這種力量。你可以說，如果每個人都有 AGI，那麼這將帶來最安全的世界。但我認為這不是一個教訓。如果我們回到核武器，如果你把這種邏輯延伸出去，你希望每個國家都有核武嗎？你希望哈馬斯現在有核武嗎？你希望阿富汗的塔利班擁有核武嗎？
歷史上有許多危險時刻，例如有一個俄羅斯潛艇上的軍官，他認為第三次世界大戰已經爆發，他有權決定是否向美國發射核彈。他決定不發射。這只是一個人，但如果你把這種能力擴展到許多人，按下按鈕的幾率就會增加。所以，我認為核武的一個救贖之處在於它們真的很難製造。我同意你的觀點，Travis，這些模型並不難製造。所以我認為這個類比在某些方面是有問題的，但總體來說，你仍然希望限制這些超級強大的、潛在破壞性的技術，只讓少數人掌握。
Travis Good: 我同意你的觀點。
Pondering Durian: 或者你只需要確保自己保持領先，對吧？無論是軍事能力還是網路能力，總是會有潛在的攻擊向量，但如果你能保持領先一步，那麼你就能應付這些威脅。例如哈馬斯發射了那些火箭，但以色列有鐵穹防禦系統。威脅模型不斷演變，但防禦也不斷進步。此外，我認為世界的富裕程度與戰爭意願之間存在相關性。富裕的人通常對戰爭或破壞的興趣較小。富裕的民主國家之間從未發生過戰爭。這既有意識形態的原因，也有富裕的原因。如果 AI 的好處能夠有效地滲透到全球經濟中，而這些好處不只歸於微軟的股東，那麼我們實際上可以有一個很好的結果，但這確實是一個非常難以掌握的平衡點。我同意存在許多威脅，情況可能會完全出錯，但我也認為，總體來說，讓這種技術在良好的管理下傳播是最優的結果。
Ben Fielding: 聽起來我們都同意這一點，因為在這種觀點下，國家最優的做法就是重金投資這一領域，與其他國家一起保持領先。國家需要透過資助技術和努力來保持領先，而不是透過拉後腿。這通常是國防研究的做法，投入大量資金探索下一代前沿技術，這通常是有益的。
Michael Rinko: 現在商業領域遠遠領先政府，這種情況如何運作？
Travis Good: 這裡有兩件事，我認為我們需要理清。對我來說，這也是為什麼我在談論 AGI 時總是有點激動，因為我認為 AGI 主要是經濟範式，是勞動力替代技術。它有一些軍事應用。
Michael Rinko: 但軍事是世界上最大的「公司」。他們僱用了比任何公司更多的人，所以顯然存在雙重用途。
Travis Good: 我同意存在雙重用途，但每當你考慮關閉這樣的技術時，你必須考慮其硬實力和軟實力的方面。讓我為你設想一個場景，讓你思考一下其影響。如果我們完全鎖定 AGI，只讓軍方使用，否認所有人經濟利益，我們實際上會失去在經濟上的競爭力。我們的軍事實力取決於我們的經濟能力。如果我們債務纏身，或者在利用 AGI 技術上遠遠落後於其他國家，我們實際上會輸掉任何戰爭。最終，一個同時研究軍事應用並在更廣泛經濟中部署的國家會勝出。
Michael Rinko: 我同意這個結論。我也許對 AI 或 AGI 有不同的看法，對我來說，我們在建構的是智能，智能是所有事物的輸入。如果你有無限的智能，就像電力一樣，你不知道你會用它做什麼，它只是一種世界上的力量。認為 AI 不會有雙重用途是瘋狂的，政府肯定會對此感興趣，而且已經在關注。回到 PD 最初的問題，關於這些模式的收入能否趕上支出，我認為更重要的是關注能力是否會達到平台期。只要這些前沿實驗室，例如 OpenAI，每年都能推出更先進的模型，炒作繼續，收入就會趕上。我們已經看到，有報告指出 OpenAI 現在的年收入達到了 20-30 億美元，這是一個前所未有的成長。但最終，政府會介入並直接資助這些實驗室，因為這將成為國家安全問題。政府不會關注收入，而是關注模型的能力，因為這是國家安全的角度。
Pondering Durian: 但這是一個不同的論點。我們討論的是市場力量。如果你認為政府會介入，那麼整個動態就會改變，資本市場的動態其實會被拋到一邊。你可以向任何用戶徵稅，並將其用於軍事應用。但我的觀點是，這不是關於能力的問題，而是關於相對於更便宜的選擇的能力問題。如果我是投資者，我不會繼續向 OpenAI 和微軟投入 1,000 億、1 兆去追求下一代模型。如果他們沒有捕獲任何價值，那麼投資者不會這樣做。所以我的觀點是，能力問題不是絕對的，而是相對的。與其他所有人的能力相比，以及實現這些能力所需的成本問題。
Ben Fielding: 我認為護城河的問題是許多大型 AI 公司面臨的一個重要問題。我們看著 OpenAI 試圖找出他們的護城河，他們似乎仍在摸索。是這個生態系嗎？是 ChatGPT 嗎？很可能不是。是他們建立生態系的能力嗎？可能是。我認為這是一個推動獲利公司的策略角度走向開放的機制，這也是 Meta 在做的事情。
Meta 認識到他們的護城河是他們將這些模型分發給使用者的能力。他們能夠將這些模型應用於實際的現實世界中，而不僅僅是試圖從模型本身賺錢。所以他們驅動開源模型，不是出於利他主義，而是為了實際的戰略利益。 Meta 透過將模型商品化來補充他們的產品，即使他們是唯一擁有社交網路分發能力的人。這推動了技術本身的開放，但也允許 Meta 繼續捕捉其他資源。
我們看到的趨勢是，真正重要的是實際的分發能力。 OpenAI 將試圖提供利用智慧進行分發的軟體，但很快，所有擁有分發能力的公司都會想要脫離 OpenAI。如果技術本身沒有真正的護城河，他們會被驅使這樣做。賺的錢越多，他們就越會想把這些帶入內部。而阻止這一切發生的，除了捕捉底層資源，例如計算資源或監管角度之外，似乎不多。
Pondering Durian: Ben，我覺得你之前說的一點我很同意，也很正確，即這是一個分發遊戲。不幸的現實是，這五、六家公司已經在分發上贏了。我們實際上在思考如何提供一個基礎設施層。但如果你認為分發是最終的護城河，那麼你是否實際上在同意我的觀點？
Travis Good: 我有一個答案，如果你不介意，Ben。我認為我們必須引入一個社會摩擦的模型。你必須考慮當 OpenAI 採取行動時會發生什麼。以醫療編碼員為例，他們聽醫生的記錄，查看文件，然後找出適當的保險編碼。這是一項乏味的工作，但如果你的工作效率高，你能賺很多錢。假設 OpenAI 進入並突然將整個醫療編碼領域收購了，這是可能的，他們有很好的模型，無限關注的模型可能比人更擅長這項工作。那麼，當整個職業消失時，社會會發生什麼事？人們會對這些公司非常敵視，這會損害它們的分發。人們會尋找替代品，因為每個人都在考慮自己的護城河，他們會開始計算，如果我把所有的數據和工作流程都交給 OpenAI，明天我的商業模式可能會變成他們的商業模式。
Pondering Durian: 但 Travis，每個人仍然使用 Amazon，每個人仍然使用 Facebook，每個人仍然使用 Google。這就是問題所在。我同意你的觀點，但消費者不在乎，因為 Amazon 給了他們最便宜的產品。
Ben Fielding: 你的意思是創新者的窘境作為一個概念已經不存在了嗎？因為這意味著這些公司將永遠保持領先地位。
Pondering Durian: 不，我只是不清楚系統如何改變。目前看來，AI 似乎只是讓現有公司的產品和分發更好，Meta 可以增強他們的產品，Google 也可以增強他們的產品。
Travis Good: 讓我從不同的角度來談談這個問題。想像一下，現在的公司非常低效，因為它們是為了組織人類而配置的。但未來的公司將被配置為組織代理，即小團隊和大量代理。因此，有一個論點是，大型玩家實際上是過時的。如果將 AI 技術賦予那些能夠正確組織的較小、更靈活的公司，他們將會勝出。
Pondering Durian: 我完全同意，這是一個非常有趣的範式。但事實是那些最終更靈活的玩家贏得了勝利嗎？還是說大公司擁有現有的現金流和分發能力，它們會大幅縮減員工。因此，這可能是創新者的窘境，縮減員工規模或減少員工數量是不可行的，所以新玩家會出現，帶來創造力和代理人以及人類的結合。但現實中，我認為你會遇到一些社會約束，例如價值的捕捉和分配。
Michael Rinko: 我認為我們現在正在進行一段非常有趣的討論。我認為重要的是要思考誰能持續推動這個飛輪，誰能不斷獲取資金並投入計算，支付頂級研究人員並保持飛輪運轉。我有一些想法，想聽聽你們的看法。 Ben，我認為 Meta 的例子非常有趣，我認為 Meta 實際上是一個很好的例子，說明收入的重要性。 Meta 投入大量資金訓練這些模型，然後免費贈送。他們花了數百萬美元，然後免費給你使用，不收取一分錢。我認為在某個節點，如果你使用 API 達到一定次數，他們會收費，但一開始是完全免費的。他們現在沒有從中賺到任何錢。
Pondering Durian: 但 Michael，這不是慈善，他們這樣做是因為他們不想依賴 Google 和 Apple。 Mark 已經被 ATT 燒過一次，他不想再經歷那樣的事情。
Michael Rinko: 我理解這個賭注，但這是一個大賭注，因為他們還沒有從中賺到任何錢。
Ben Fielding: 這透過 API 應用於 Meta 的產品。
去中心化AI 和加密的潛在顛覆
Pondering Durian: 是的，但他們如何從中賺錢？ Michael，你實際上在支持我的觀點，模型正在被商品化。如果 Meta 投入數百億美元，那麼這對 OpenAI 的商業模式意味著什麼？
Michael Rinko: 這正是我的觀點，我認為他們在玩不同的遊戲。 Meta 在免費提供模型，OpenAI 在建立領先的封閉式前沿模型。 Meta 免費提供模型，OpenAI 可以去藥物研發實驗室說，我們將為你們運行一個月的推理來合成某種藥物，我們有世界上最好的模型，具有最佳推理能力、X、Y 和Z 功能，最具代理能力，無論時下的流行是什麼。那個藥物研發公司會支付 OpenAI 任何要求的費用。這是一個完全不同的商業模式，而不是透過社群媒體平台賣廣告來彌補成本。
Pondering Durian: 我同意，但這取決於 OpenAI 能否繼續領先 Meta 和所有其他玩家。如果 Meta 也投入 200 億美元進行下一代研發，並從 OpenAI 那裡僱用大量研究人員，然後免費提供這些模型，那麼 OpenAI 想要收費的任何東西都會被拋到一邊。所以，我不是說 OpenAI 不能成為一個偉大的企業，我只是說他們確實有商品化的風險，這取決於他們是否能繼續領先。
Michael Rinko: 他們兩年前訓練了GPT-4，它至今仍是世界上最強大的模型之一。所以在我看來，他們領先了兩年。
Travis Good: 我對此有點異議。 GPT-4 有許多次發布，實際上，目前的模型已經超過了最初發布的 GPT-4。這就是封閉模型的問題。這些公司聲稱它們是同一個模型，但實際上它們並不是，而且可以在不通知的情況下進行更改。所以如果你依賴這些模型保持不變，你會有麻煩。
Michael Rinko: 我的理解是，GPT-4 在兩年前完成了預訓練，基本上讀完了互聯網上的所有內容。從那時起，他們一直在進行迭代後訓練，並提高了性能。但對我來說，令人驚訝的是，基礎模型在兩年前就已經完成了訓練，並且至今仍能與當今的最先進模型競爭，這表明他們確實領先。
Pondering Durian: 我同意這一點。我的觀點是，除了人才和計算資源的取得之外，沒有其他天然的護城河。在 Web 2.0 時代，你可以從網路效應中受益，即使你的執行力很差，例如 Twitter，你仍然會不斷獲得用戶並擁有強大的動力法則。但你所描述的世界將要求OpenAI 繼續以超級激進的方式投資，以保持其領先地位，這既包括他們的人才，也包括他們的運算資源，這也是為什麼他們不得不去找微軟和蘋果做交易。所以，我認為他們可以保持領先，但這比 Web 2.0 時代要困難得多，因為那時有一些天然的護城河。
Ben Fielding: 我覺得這歸結於具體的用例。我們談論分發是護城河，但分發不僅僅是用戶的訪問，還包括具體的用例。我們談到 OpenAI，他們可以將 GPT-4 應用於藥物發現領域。但實際上，人們多年來一直在將機器學習應用於藥物發現領域。具體從事這項工作的公司，GPT-4 要超過這些專門為藥物發現設計模型的公司的想法是不切實際的。這顯示了它是一個很好的行銷工具，意味著 OpenAI 可能會獲得一些合約。但例如 Isomorphic Labs，Demis 專門為此進行的嘗試，可能更有可能直接針對藥物發現用例，而不是 OpenAI 這種似乎想涉足所有潛在用例的公司，他們會被那些專門針對這些市場的公司擊敗。
Michael Rinko: 我覺得這是一個很有趣的問題。你們怎麼看待未來人工智慧的發展？最通用的智慧形式會贏嗎？還是像 Ben 所說的，專注於特定用例的更小、更專門的模型在這些特定用例中獲勝，而通用模型在這些特定領域表現一般，專用模型在特定事情上表現得非常好？
加密在AI 中的獨特優勢
Ben Fielding: 我持有一種相當懷疑的觀點。歸根結底，這只是一個可以在特定領域應用的技術，就像一個資料存取工具。你可以把模型看作是一種極其高效的資訊壓縮方式，它在許多領域都非常有效，並且可以在語言模型和通用智能等方面展現出邏輯功能。
在我看來，通用智慧部分其實是其下的一個路由機制。這只是一個更好的與世界數據互動的方式。我認為你可以在很多不同的方式中應用這些技術，不必非要有一個通用智慧的路由機制來實現每個用例。類似於過去的技術可以在許多不同的領域以多種不同的方式應用。
但我認為我們目前關注的重點是，人們認為必須有一個具有類人腦的基礎模型才能達到良好的效果。我並不這麼認為。回顧機器學習的歷史，你會發現它在不同的領域和不同的方式中應用。我認為我們目前對 Transformer 模型的關注只是暫時的，一旦我們發現它們並不能魔法般地解決所有問題，我們將再次回到多樣化的技術應用中。
Travis Good: 我同意你說的許多觀點，我也認為這都與工具使用有關。我認為，一個非常好的基礎模型，結合出色的工具使用技能，將會贏得一切。原因是它可以應用所有的專業模式來服務更大的目標。因此，我認為它在這種方式下會吸收它們，但這並不與任何一個分支點矛盾。我同意，專業模型在許多用例中可能會有優勢，因為你無法為某些特定情況進行訓練或微調。例如，GPT-5 不會是 AlphaFold。
Tommy: 各位，我有個問題。我們現在討論的是 OpenAI 與 Meta 的競爭，但我們還沒有明確指出加密 AI 如何在這裡獲勝或可能獲勝。我想花 10 到 15 分鐘來討論這個問題。我們談到了電力和房產的問題，例如資料中心空間不足或電力不夠，或者如 Pondering Durian 所說，資金與收入和預期輸出不匹配，這可能會對中心化 AI 造成致命打擊。我希望我們能討論一下加密 AI 可能獲勝的方式，如果你們認為它無法獲勝，那也沒關係，但我想花點時間在這個問題上。 PD，我們可以從你開始，然後依序討論。
Pondering Durian: 抱歉，我剛才斷線了。回到我們之前的討論，我覺得顛覆通常是來自於邊緣。去中心化 AI 提供了一些閉源 AI 永遠無法複製的能力。今天的性能可能很強，因為他們採用了垂直整合的擴展方法，擁有專有數據和大量計算資源，因為他們從第一代互聯網獲得了壟斷現金流。我認為加密提供了一個更開放、透明的層，其他人可以在此基礎上建立。如果你重視透明性、可組合性和潛在的應用生態系統，你可以驗證底層模型和資料集。那麼隨著去中心化計算和推理表現的提高，你會看到越來越多的人想要加入這個生態系統。因此，我認為這是一個經典的顛覆框架，有一個解決方案在一個方向上快速前進，但也有一些其他優勢，由於其獨特的特性，邊緣客戶今天正在使用，並且隨著時間的推移性能會提高。如果效能達到可比程度，它將提供更優的解決方案。
這是我的簡短總結，很想聽聽 Ben 和 Travis 的看法。
Ben Fielding: 是的，我想直接回答這個問題，這會是一個非常有偏見的回答，畢竟我們在Gensyn 所做的事情和去中心化技術密切相關。
但總的來說，我認為去中心化和去中心化技術的最大力量在於它能夠建立很難被中介化、尋租和捕獲的價值流。我們討論了很多支撐機器學習的資源，我們把它們視為這些資源的幾大支柱。每一個都有不同的動態，是否已經開放，或者是否可能被大公司捕獲，然後禁止其他人訪問。加密技術使我們能夠在這些資源上創造出保持可信賴和開放的市場，正是透過加密的機制。
顯然，我們很多時候都在考慮運算資源，這是我們建構的領域。但如果你考慮未來的市場，如果我們能夠創造一種方式，讓資源的實際使用者的需求直接流向擁有和提供該資源的人，那麼我們可以在這個資源上創造一個更高競爭性、更流動的市場，這最終會像比特幣一樣，在全球範圍內代理能源市場。你可以以類似的方式將運算資源作為 AI 的底層資源。如果我有一個特別便宜的電力來源，甚至許多綠色電力也特別便宜，因為沒有辦法有效利用它們，如果我可以購買一個GPU，把它插進去，並立即訪問GPU 計算的需求端，我會這樣做做，因為我會因此獲得收益。現在我無法做到這一點，因為唯一的方式是成為雲端服務提供者。而雲端服務提供者本身並不鼓勵我成為雲端服務提供者。這種循環繼續下去，他們最終買下了所有的運算資源，在其上尋租，並設定寡占的價格。因此，這使我們能夠保持市場的流動性，不允許它被集中提供者捕獲。我認為你可以對 ML 的所有底層資源這樣做。最終，你會在實際應用階段看到更多的競爭，我認為我們都同意這可能是護城河所在之處。它是向用戶提供價值，而不是在某個資源中。
Tommy: Ben，快速提一個問題，在 Travis 和 Mike 回答之前。我想確認一下你的觀點，如果我有理解錯誤，請糾正我。你的觀點是，超大規模資料中心的資金和它們建立的產品的收入或結果並不那麼可持續，我們沒有得到我們想要的結果。如果我們能夠建立一個連接所有GPU 的元網絡，即最終像電力一樣，任何人都可以訪問它，從而創建一個最大表面積來創建最有價值的AI 應用或代理，而不是一個中心化公司選擇試驗項目並在全面AGI 上競爭。這是一個恰當的總結嗎？
Ben Fielding: 在某種程度上，是的。我認為，當談到規模問題時，規模是否是決定勝負的因素，我們已經討論過了。這有點進入了辯論的範疇。但最終，你可以這樣想：人類使用資源的最小提取方式是什麼？使用電力並透過 GPU 將電力轉化為知識，這是我們可以做到的最小提取方式，沒有太多的中間環節，導致有人在過程中提取價值。我認為加密和去中心化為我們提供了創建一個絕對最小提取系統的軌道。唯一在過程中提取價值的人，是那些真正提供價值的人。
例如，有人建立了一個模型介面。如果這個介面與許多其他介面競爭，那麼這個人可以獲得利潤，但他們的利潤是在競爭中達到一個公平市場價格的。這種情況在鏈條的多個階段發生，一直到你取得電力的階段。目前我們處於這樣的情況：由於計算資源是有限的，它不是商品，而是有限資源，被提供者捕獲，他們能夠提取巨大的價值。但加密為我們提供了一條不發生這種情況的軌道。我認為，無論 AI 走向何方，這對世界都是淨好處。無論擴展是否繼續成為最佳方案，因為資源的一般使用仍然是最有效的方式。沒有獲利動機的協議只需要維持自己。所以，如果它能維持自己，並能創造最大的需求使用面，它應該勝過任何必須從中獲利的人。
Travis Good: 我是 Nassim Taleb 的忠實粉絲，我認為中心化結構是脆弱的。它們的脆弱性在於需要信任。如果我是中型企業，我使用 ChatGPT 提供客戶服務功能，OpenAI 明天可能會改變模型的行為，這將改變我整個客戶服務部門的行為。這是你作為應用程式使用者必須放棄的巨大控制權。更不用說，如果我得罪了 OpenAI，他們可以關閉我整個客戶服務部門。我必須對這個實體有極大的信任，信任它不會被黑，不會惡意行為，不會任意行為。我們已經看到 Google 會無緣無故地關閉人們的 Gmail 帳戶，人們會因此失去多年累積的記憶和生活。因此，我認為去中心化結構提供了穩健性和反脆弱性，因為它們可以是無信任的。如果我可以透過Ambient Network 獲得一個非常好的模型，這個模型是公開訓練的，具有已知屬性，並且行為可預測，我可以信任這個模型會繼續在網路上運行，而不會被集中結構的任意行為中斷。只要有經濟激勵，這個模型就會繼續運作。這為我提供了更好的保障，這是加密 AI 的巨大優勢。它能夠讓我不必擔心特定組織的實施和結構，而獲得有趣的能力。這種可組合性對未來經濟的發展至關重要。
Michael Rinko: 你們都提出了非常有趣的觀點。我對加密 AI 的看法是，當我寫報告時，我試著思考加密能為 AI 解決哪些其他地方無法解決的問題。我認為你們都提到了一些關鍵點。對我來說，有三點。第一，加密是無信任的。如果你是 AI 代理，你會將你的資本交給摩根大通，還是會信任你自己控制的數位錢包，一個在區塊鏈上的公私鑰？在加密中你不必信任任何人，我認為這對 AI 來說是一個很有吸引力的特性。對人類來說，這可能是個可怕的特性，因為沒有人可以打電話求助。但我認為對 AI 來說，這將是一個非常吸引人的特性。第二，加密是確定性的。當你在加密中執行一段程式碼時，你確切知道這段程式碼會做什麼，沒有任何模糊性。而在現實世界中，當我打電話給銀行匯款時，我不知道匯款會在今天、明天還是下個月完成。我們都經歷過這種情況。現實世界是隨機的，充滿不確定性。我的賭注是 AI 不會喜歡這種不確定性，它會更喜歡確定性執行。加密提供了這一點。第三，AI 可以透過加密實現超級資本主義。一個愚蠢但可能最好的例子是 Meme 幣。加密可以將任何東西金融化，並且確實可以做到這一點。我認為這是一個獨特的特性，AI 可以利用這一點來累積資源。所以，我認為基於這些原因，我對加密和 AI 的結合非常看好，我認為我們只是剛開始發現其中的價值所在。
Pondering Durian: 這些觀點都非常棒，Michael 說得很好。我還想補充一點，我在文章中提到過，現有機構基本上是工業時代的產物，因此在協議採用方面有許多限制。如果經濟中更多的部分轉向代理或基於代理的網絡，那麼我們正在構建的許多基礎設施將變得更加有意義。如今，企業與協議互動的過程中存在許多摩擦，特別是那些大型法律部門的企業，他們總是更保守，更傾向於選擇AWS 的服務水平協議或合同，因為這是他們所熟悉的世界運作方式。但如果未來我們將更多的決策和智慧外包出去，我認為這些決策者會開始使用更多可組合的、無信任的基礎設施，正如先前提到的觀點。所以，如果在未來三到五年內，我們開始見證這一轉變，那麼這對 Web3 基礎設施和應用程式來說將是非常有利的。因為這確實需要網路的雙方共同發展，我們只是剛開始看到需求側真正成熟起來，以一種對過去五六年構建的 Web3 基礎設施有意義的方式發展。
Ben Fielding: 我認為這裡有一個非常有趣的類比，就是Web3 和AI 的類比，它們基本上都在用程式碼成本取代人工成本。 Web3 的出現，以智慧合約的執行取代了法律合約和人工信任機制等。這是一種用人力更便宜的方式來做事情的例子。正如你所說，AI 也是如此，它用更複雜的程式碼取代了昂貴的人力成本。因此，兩者的結合就是要最大限度地用程式碼取代昂貴的人工成本。然後你會問，最後剩下的是什麼？就是信任部分，在現實世界中，人們確實重視人類信任部分，他們願意為此付出更多。這就是為什麼企業和舊有的購買 IBM 產品的原因。最終，你會發現你購買 AWS 產品是因為你願意為人類部分支付額外費用。這已經被明確地切割和高度金融化，現在你知道自己在支付什麼。它不再是像傳統雲端世界那樣的模糊化購買，而是一個非常明確的購買行為。我認為我們可以從這個角度進一步探討未來AI 的發展，它將是對人類經驗的更明確的金融化，我們的價值觀會發生變化，我們願意為明確的人類經驗支付更多費用，甚至是非理性地選擇那些對我們來說最適合的東西，但只是因為我們實際上重視它。例如我想買這個手工製作的東西，因為它是由人手工製作的。我想買這個雲端供應商的產品，因為那裡有一個人。儘管實際上這個有自動結算和AI 運行的加密產品對我更好，它更便宜、更有效率，能帶來更好的結果，但我會選擇其他東西，因為我是人類，這是我想買的東西。
Michael Rinko: Ben，我可以問你一個問題嗎？我認為你的見解非常有趣。一個常見的看法是，去中心化計算或當前 AI 領域的某些東西去中心化後會更便宜，這是一個賣點。但我認為反對的觀點是，正如你剛才所說的，成本並不是這些公司的首要考慮，尤其是當你談論的是世界上最有價值的公司時，他們會花費額外的錢來避免麻煩。如果有現有的關係存在，他們也會這麼做。你認為是否存在一個臨界點，這些公司可以節省足夠的錢以至於成本實際上成為主要驅動因素？或者這些加密 AI 公司只是聲譽問題，需要幾年時間才能建立這些 GPU 提供者與這些公司的聲譽和聯繫？你認為這種情況會如何發展？是否存在一個明顯的臨界點，使得競爭動態在中心化和去中心化的產品之間發生變化？
Ben Fielding: 這其實就是任何新技術中經典的摩擦與收益權衡問題。你需要問自己，是否願意為了潛在的好處，例如節省成本、擴大規模或增加訪問量，而經歷採用新技術的摩擦。我們必須經歷這種轉變：有些人必須願意經歷額外的摩擦，才能獲得這些潛在的好處。一旦你通過了最初的摩擦，就可以降低這種摩擦，而不會有巨大的轉換成本。
但是，目前還沒有人真正解決這個權衡。我們看到很多關於加密 AI 的投機性項目，很多人說將來會有巨大的好處，很多人也在賭這個未來。但顯然沒有人真正捕捉到現實世界的價值需求，也沒有太多實際用例可以說這是為 Web2 帶來實際價值。我認為，這就是需要發生的事情。坦白說，我認為我們需要專注於建立這些技術，使它們在具體的實際用例中更好，而不是專注於激勵和啟動工作，這在我們看來只是分散注意力的事情。
當然，在某些時候，你需要做一些激勵措施。如果你在建立一個市場，你需要做一些啟動工作，但這不是主要工作。主要工作是創造一個真正有價值的產品。我認為我們經歷了一段分心的時期，但幕後有很多人正在建立這些產品。一旦這些產品發布，我們將看到一個激增，但它必須跨越摩擦與成本的障礙。
Pondering Durian: 但我認為你確實需要網路流動性。加密實際上是關於網路的。因此，你需要需求方和供應方，它們需要同時出現。為了創造那種體驗，起步時建立市場總是非常困難的。供應方不會在看到需求方之前加速成長。我們仍然有非常高摩擦的用戶入門體驗。所以我同意專注於產品非常重要，但很多好處只有在有一個臨界點時才能實現，不是 50 億，但至少有足夠的加密錢包數量，供應方才會滿足需求方。因為現在用戶數量仍然非常有限。所以我確實認為網路流動性非常重要。
Travis Good: 我只是想插句話，我認為這是一個非常重要的觀點。 PD，你知道，如果我們將加密與 AI 結合起來，實際上就是在決策支援中引入了可程式經濟。我認為先前加密在決策支援方面一直是缺乏的。大型語言模型能夠攝取大量資訊並基於所有輸入做出相對簡單的選擇，這是以前無法想像的事情。如果我試圖在以太坊上編寫一個合同，以解析新聞故事並決定情感是積極還是消極，我需要做很多黑客工作，更不用說試圖寫一個一致且合理的摘要，讓我可以做出經濟決策。所以，我們實際上是在引入一個能力和推理水平，使得基礎經濟 API 比以前更具吸引力。
Ben Fielding: 就我們討論的這種市場啟動問題來說，的確在某個階段你會需要一些啟動工作。我並不是說你不需要平衡供需關係，但我認為你的使用案例會極大地影響你需要做多少啟動工作。例如，以Helium 為例，他們提供的網路覆蓋受到電信領域的Metcalfe 定律的影響，這意味著這個網路只有在大規模時才有價值，因此你必須非常大力地啟動供應側，才能為用戶提供任何價值。
但也有一些使用案例並不受此限制。例如，存取 GPU 運算資源，如果我有一塊 GPU 和一個需要在這塊 GPU 上訓練模型的用戶，我就可以進行交易，從這個網路中獲取現實世界的價值。是的，這還不是最大規模，但你可以逐步擴大規模，而不需要經歷大規模啟動過程。我認為我們現在處於一個奇怪的境地，GPU 網路的競爭都在爭奪 GPU 的數量，但沒有人真正使用這些 GPU，需求側的使用在哪裡？
所以我們陷入了一個收集盡可能多GPU 的誤區，這是錯誤的指標，正確的指標是實際使用，獲取用戶將任務發送到設備，並獲得結果。如果這在小規模上實現，我認為這實際上更好，而不是單方面地大量啟動供應側，卻無法服務於需求側。這只有在供應是線性價值商品的情況下才有效。然而，幸運的是，ML 計算恰好是這種情況之一。我認為，如果你處於網路頻寬模式中，你必須找到如何啟動供應側的方法，這就是你必須玩的遊戲，你必須確保在短時間內需求側能夠接管，否則你不會贏。
Michael Rinko: 你認為最近最有可能的需求來自哪裡？
Ben Fielding: 去中心化運算網路。
Ben Fielding: 我認為需求可能來自幾個不同的領域。一方面是種子到 A 輪階段的新創公司，它們目前無法存取雲端提供者資源，這是一種需求。還有一些是沒有本地運算資源的個人用戶，但他們希望微調模型，例如使用他們能夠存取的開源模型，但無法獲得運算資源進行訓練。再進一步（但可能不太遠）是協作訓練模型的需求。社群可以提出一種新型模型的想法，但無法獲得運算資源，而現在他們可以獲得這種資源。他們也可以利用 Web3 提供的各種工具，例如資金池和審計，集體啟動這些資源，而不必信任某個單一一方。這樣，我們就能在運算網路、資料網路以及某種程度上的專家知識激勵網路上進行更協作的模型開發。在這些網路中，人們可以提出模型並在未來因為提出了這個模型而獲得獎勵，因為區塊鏈上有一個記錄表明是他們創造並發布了這個模型。隨著我們將價值歸屬逐漸回到資源或創意的起點，這會激勵協作工作，而這正是飛輪效應真正啟動的時刻。
在此之前，我們可以看到目前雲端提供者的簡單使用，這通常要么因為定價過高，要么根本無法訪問。
Travis Good: 我認為隨著區塊鏈需要被視為具有競爭力的能力，你會看到這些網絡的利用率大幅提升。
Ben Fielding: 完全同意。當模型開始需要存取資源來觸發自身和其他模型時，事情會變得指數級增長，因為你消除了與我們在其他領域討論過的一樣的「人類世界成本」。這時，你需要對這些資源的高度流動性訪問，否則總是會受到資源市場效率的限制。所以，如果我們想要盡可能快地進步，就必須讓這些市場盡可能有效率。我完全同意，一旦模型實際上開始存取資源，整個情況就會發生根本變化，這讓我感到非常興奮。我認為那將會是一個非常重大的時刻。
Michael Rinko: Travis，我很高興你提到這一點，這是我希望我們在某個時候會談到的。我不想顯得太科幻，但我認為人們低估了這一點會發生的速度。我前幾天看到一條推文，是一位OpenAI 的研究員發的，他基本上說，如果你把10 年前的人帶到今天，告訴他們我們有一個可以實時進行任意語言翻譯的程序，任何人都可以免費使用，全世界的人都可以免費使用，他們會有多驚訝。但他說，這種巨大的突破沒有改變任何事情，世界還是那個世界。換句話說，NVIDIA 的股價上漲了很多，但除此之外，我們還是每天吃早餐，我還是在喝咖啡。所以我認為對於加密領域來說，我們也有這些巨大的 AI 突破，但加密仍在繼續，比特幣現在甚至沒有達到歷史最高點。所以什麼時候會有一個巨大的轉捩點？什麼時候會出現指數級成長？
我目前的看法是，這個轉捩點會在我們擁有自主代理時到來。我認為對於大多數加密社群的人來說，為什麼這些代理商會更喜歡區塊鏈而不是傳統基礎設施是顯而易見的。我很難想像從零到一的過程會是什麼樣的，可能一開始沒有任何代理，但突然之間可能會有無數的代理，數以百萬計、數十億計的智能實例，它們獨立地參與經濟活動。我認為其中很多都會發生在區塊鏈上，而這種潛力是巨大的。
Pondering Durian: 我確實覺得這就像 USV 的圖表，顯示了基礎設施和應用程式之間的關係。在某一點上，Altimeter 的那個人基本上說，如果你看雲端運算，有 4000 億美元流向了應用程序，而大約有 500 億美元流向了半導體公司。而在生成式 AI 領域，我們現在實際上是相反的情況，NVIDIA 累積了 750 億美元，而 OpenAI 僅累積了 50 億美元。我認為這種情況將會翻轉。就像雲端運算一樣，我們可以預期即將到來的應用程式爆發，大部分的價值捕獲將開始向上流動到應用層。因此，我百分之百同意這個觀點。
Travis Good: 我認為這就是為什麼這個生態系統如此重要的原因，也是為什麼我很高興看到在這個領域中有各種不同的方法和健康競爭的原因。因為我認為所有這些方法都會有巨大的需求，這將是一場盛宴。我相信那些能夠看到這一點的人將會得到豐厚的回報。我也希望正在聆聽的各位能夠被我們的觀點所打動，因為我希望你們也能從中獲得經濟上的回報。
區塊財經BOTD – 廣播組
追蹤BOTD Instagram，獲取最新區塊鏈消息
▸https://www.instagram.com/botd_news/
免責聲明：本文內容僅供參考，投資人應獨立判斷，審慎投資，並自負風險，本文不提供或嘗試遊說觀眾做交易或投資之依據。
