Transformer八子的出現與出走，既是起勢，也是順勢。
(資料圖片)
編者按：本文來自微信公眾號硅兔賽跑（ID：sv_race），作者：椎名，編輯：Zuri，創業邦經授權發布。
“One ring to rule them all”
這是電影《魔戒》中的一句經典臺詞，用以形容一枚占據絕對統治地位的至尊魔戒。
通用人工智能領域，也曾出現過這樣一枚“至尊魔戒”。它的登場，同樣有著一個在學術圈來看違背祖訓、驚世駭俗的論文標題——“Attention Is All You Need”。
站在AIGC如火如荼、各種類GPT模型層出不窮的2023年回望，當時這篇論文的標題有多“狂妄”，這枚魔戒的影響力就有多大。且與電影中的至尊魔戒帶來徹底的毀滅不同，這枚AGI的“至尊魔戒”指向全新的創造。
那么，又是誰創造了這枚“至尊魔戒”？他們如今在何方，是否又在醞釀著新一輪的AI風暴？
現在我們都知道OpenAI開啟了GPT時代，但再往前追溯，它是站在巨人的肩膀上才能采摘下來的成果，這個巨人的肩膀就包括了2017年發表的這篇“Attention Is All You Need”。
這篇論文提出了名聲大噪的Transformer架構，是谷歌著名算法BERT中最重要的部分，更是ChatGPT 末尾的“T”。
爾后，Transformer 勢如破竹，從自然語言處理機器翻譯開始，席卷整個 NLP 領域。
如今6年過去，ChatGPT幾乎是Transformer結下的最豐厚的果實，而耕種了Transformer架構的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin，大多數現在不在谷歌工作。事實上，其中有七人不再駐足留戀于谷歌這顆蒼天大樹之下。
我們統計，“Transformer八子”中，“轉投小廠派”一人：Lukasz Kaiser則已在2021年加入 OpenAI擔任研究員。
Llion Jones是8人中目前唯一還在谷歌工作的，只是工作地點換到了日本。他曾打趣地表示，自己對論文作出了最有意義的貢獻，是寫下了Attention is all you need這個“大逆不道”的標題。
Llion Jones
其中，創業派6人選擇了自立門戶，且基本上從谷歌一出來就已經獲得了 VC 的支持。
本文將著重梳理“Attention Is All You Need”中創業派的最新動向。
01“真實感”的保鮮期有多久？原Google Brain研究員Aidan Gomez的創業公司恐怕是里面最受矚目的。
Aidan Gomez
Aidan Gomez創辦的公司叫做Cohere，是一家成立于2019年的加拿大AI創企，專注于提供NLP模型，幫助企業改善人機交互，包括利用Transformer架構快速部署對話式AI聊天機器人、生成式搜索引擎、文本摘要總結、增強向量搜索等。這家公司的另外兩位創始人Nick Frosst和Ivan Zhang，也和Aidan Gomez一樣具有學術背景，且三位創始人均是多倫多大學校友。
Cohere之所以備受業內矚目，除了創始團隊的背景之外，也有一部分原因在于，它的投資者中還有圖靈獎獲得者Geoffrey Hinton、知名人工智能研究員李飛飛、UC伯克利大牛Pieter Abbeel的身影。這三位在當今人工智能領域都是執牛耳的人物。
這樣的大牛背書之下，Cohere的融資步伐也十分緊湊，分別于2021年9月獲得4000萬美元A輪融資，2022年2月獲得1.59億美元B輪融資。
隨著生成式浪潮在今年達到一個小高潮，今年5月，據《紐約時報》報道，Cohere更是拿到了2.5 億美元的融資，估值達到20億美元，本次投資者包括CRM領導者Salesforce、著名芯片制造商Nvidia、Inovia Capital等。《紐約時報》寫道，Cohere也是為數不多在技術層面具備與OpenAI進行競爭的AI企業之一。有報道稱Cohere現有員工已經達到近200人。
與Aidan Gomez選擇的賽道類似，論文一作Ashish Vaswani在離開谷歌后，也參與創辦了一家將NLP技術用于通用助手的公司Adept，并任該公司首席科學家。在谷歌工作后，Vaswani撰寫了19篇論文，神經網絡是他自2011年以來一直追求的共同主題。
Ashish Vaswani
Transfomer八子中的Niki Parmar也加入了Adept，任CTO。值得一提的是，Niki Parmar 是這個論文 8 位作者里唯一的女性。
Niki Parmar
Adept雖然成立較晚（2022年4月才正式成立），但也趕上了這一波AIGC的浪潮：今年3月拿到了3.5億美金的B輪融資，由General Catalyst和Spark Capital聯合領投，Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures等機構跟投，還有眾多的硅谷明星創業者作為個人投資人投資。
這輪融資將Adept的總融資額增至4.15億美金，公司估值超過10億美金，晉升獨角獸。
不過，Adept最新這輪融資已經和Ashish Vaswani、Niki Parmar沒什么關系了。因為他們兩都在2022年底先后離開Adept，成立了一家名為EssentialAl的公司，目標是為企業構建軟件以便于他們使用大型語言模型。今年5月，EssentialAl宣布了由Thrive Capital 領投的800萬美元融資。值得一提的是，Thrive Capital 也是OpenAI 的投資者。該公司仍處于隱身模式，尚未推出任何產品。一位接近該公司的消息人士稱，Conviction 和天使投資人 Elad Gil 也參與了這輪融資。
值得一提的是，創業派除了上面幾位年輕面孔，也不乏已經為谷歌效力20多年的老員工。
這位老員工就是Noam Shazeer。他在2018年開發了Mesh-Tensorflow，這是第一個用于在超級計算機上訓練大型Transformer的實際系統。
Noam Shazeer
2021年，Noam Shazeer 也離開了谷歌，與前谷歌工程師 Daniel De Freitas 共同創立了 Character.AI，致力于開發生成式 AI 聊天機器人 Web 應用程序。迄今為止，該公司已籌集了約 2 億美元，估值接近獨角獸，約有20名員工。
02“創業派”中的冒險者都說創業是一場冒險，那么，跨界創業更是冒險中的冒險。
Transformer八子中，Jakob Uszkoreit是當之無愧的冒險擔當，他的創業去向應該是最具跨界色彩、也是最有難度的。
Jakob Uszkoreit
Uszekoreit 被認為是發明 Transformer 架構的幕后推手。GoogleBrain工作期間，他組建了Google助手的語言理解團隊，并參與了早期的Google翻譯工作。
在谷歌工作了 13 多年之后，Jakob Uszkoreit也于 2021 年離開了谷歌，他創立的 Inceptive，是一家徹頭徹尾的AI+生命科學公司，致力于使用神經網絡+高通量實驗來設計下一代 RNA 分子。
到目前為止，該公司已籌集了 2000 萬美元。
另一位跨界派Illia Polosukhin，幾乎是踏出了AI圈，投入到區塊鏈浪潮中。
這位硅谷著名的IT天才，是Google TensorFlow人工智能開源項目的主要代碼貢獻者，還曾任Google深度學習小組項目主管，帶隊負責核心搜索算法業務近10年。他在2017年2月就離開了谷歌，創辦了區塊鏈底層技術公司NEAR Protocol，吸引了包括a16z、 MultiCoin Capital、Metastable、Coinbase Ventures等區塊鏈領域的著名投資機構。
Illia Polosukhin
這家公鏈技術公司可以托管去中心化應用程序和智能合約，被譽為“以太坊殺手”， 目前估值約為20億美元。
03新的硅谷“八叛徒”故事？從Transformer八子目前的故事走向來看，已有些許當年硅谷傳奇——仙童“八叛徒”的風采。
這件往事里，“叛徒”是一個褒義詞。在晶體管剛剛問世之際，8位肖克利半導體實驗室核心人物紛紛出走，先后創辦了仙童、英特爾和AMD等著名的半導體公司。可以說， 1970 年前后的半導體浪潮中，大部分半導體公司都起于仙童。憑借“八叛徒”的智慧和創新精神不斷開枝散葉，微處理器得以普及，計算機變得更加迅速和強大，硅谷更是一舉成為了全球半導體產業的中心，引領著信息時代的浪潮。
如今這段佳話過去已近70年，硬件的突破已經出現邊際效應，新一輪的信息革命蓄勢待發，人類需要更加智能的技術來解決復雜的問題，創新的火種移交到AI領域，硅谷似乎迎來了新的八君子。
我們不難發現，和仙童“八叛徒”類似，“Transformer八子”本身已經積累了豐富的經驗和技術知識，他們在谷歌期間推動了人工智能領域的發展，離開谷歌進入到各行各業中，能讓這些寶貴的資源和知識更廣泛地應用于不同的領域和行業。
更重要的是，這一批離職的AI大牛，同樣具備極高的創造力和冒險精神。
他們都曾表達過對現狀的不滿，追求更高的目標和更具沖擊力的創造。
八子中的“創業派”代表Niki Parmar就曾表示，在谷歌，公司整體更注重改進現有產品，而不是創建全新的產品類別。
無論是離開谷歌創辦自己的公司或加入其他創新型企業，他們能夠更加自由地探索和實踐新的想法和概念，從而推動技術的不斷進步。
而且這些AI大牛們的離職，也有助于推動合作生態的形成。他們往往與其他優秀的科學家、工程師和創業者緊密合作，共同開展創新項目和研究。這種合作生態能夠加速創新的過程，促進技術和思想的交流，為整個行業帶來更多的機遇和突破。
正如八子中的另一位“創業派” Aidan Gomez所說：“在谷歌這樣的大公司內部進行探索的自由度有限，你無法真正自由地進行產品創新。從根本上說，（這家公司的）結構不支持它。所以你必須自己去建造這個結構。”
這一批離開谷歌的小分隊，正在以更加自由的方式探索和發展新的技術和方法，進一步推動通用人工智能的進步。
這樣來看，Transformer八子的出現與出走，既是起勢，或許也是某種順勢，正如當年的仙童“八叛徒”一樣。
本文（含圖片）為合作媒體授權創業邦轉載，不代表創業邦立場，轉載請聯系原作者。如有任何疑問，請聯系editor@cyzone.cn。