從矽谷看AI晶片市場及機會

工研院資通所矽谷顧問 王南雷 (Plug and Play Tech Center EIR (Executive in Residence), Founders Space startup advisor)

自從2012年image net challenge得到進展後,DNN(Deep Neural Network)就帶動了人工智慧的發展。過去幾年,沒有與人工智慧/AI沾邊的題目好像就沒有機會了。配合著cloud/data center的成熟,DNN在訓練(training)與推論(inferrence)需要的大批資料、運算量等,得以順利進行;但是對速度、耗電等性能要求,也顯示了幾年前的硬體無法滿足市場需求。因此AI晶片成為潮流,不論大公司或新創都大批投入。本文就此趨勢從矽谷的觀點做些討論。


AI市場

自從DNN引領人工智慧火熱的發展,新創公司就不斷的冒出,涵蓋的市場面向只能以“無所不在”來描述。在過去一兩年,好像沒有與AI、ML等名詞掛鉤就不夠“潮”。

這些新的努力幾乎都是在應用市場面,從金融、旅行、供應鏈、運輸、健康….. 等,可謂無所不在。典型的情形就是透過跨領域的合作,尋找出目前市場的痛點,利用AI來找出突破性的解決方案,能夠以節省的時間、金額等客觀方式,證明新的解決方案的確有顯著的優勢。

隨著大家對人工智慧的基本了解的普及,大公司、新創公司也不再強調使用AI了。畢竟有些情形,使用“傳統”的方法就能夠解決眼前的商務苦惱,而AI還不見得是最有效的立即手段。這方向也算是趨於實際,過了hype的這一道關卡。同時我們必須了解,市場需求是驅動的因素,人工智慧只是工具(之一),而非萬靈丹。

這些新的市場做法,不僅在B2B,B2B2C,透過federated learning即使B2C也能處理推論和訓練。普遍的技術挑戰在於資料的獲得、正確地labeling、訓練以建立模型、推論,edge computing。這也帶出另個相關的努力方向,就是AI這個工具的相關輔具,包括data labeling,data的蒐集,甚至data的“人工產出”。

實際的例子,在data labeling上,有早期的新創,外包data labeling到美國之外的低工資地區去做。在data的“人工產出”,例子如一家新創公司,原來是做AR/VR裡的3D模型,之後轉型,利用3D模型,產出多角度的2D影像給AI的data set。

更少數的新創,是提升DNN的基本能力,例如“解釋DNN為何提供這樣的答案”(explainable AI)。


晶片的起伏

進入21世紀的第二個10年,矽谷裡投資“矽”的機會越來越少,最後在這10年的中期,基本已絕跡。因為internet在2000年左右的興起,帶動了所有相關軟體的需求與發跡。同時IC的發展速度仍能依循Moore’s Law,配合cloud的發展,因此有一段時間,硬體能夠滿足軟體的主要需求,造成沒有市場痛點也就沒有投資的機會了!

但是隨著AI的快速發展,運算速度,資料讀寫成為瓶頸,耗電量,edge device的不同性能要求,也造成了對新的AI晶片的需求。過去幾年對AI晶片的投資大幅的展開,包括目前市場上的大公司(nVidia, Intel, AMD, Xilinx, Google, Apple, IBM, Qualcomm…)的內部及外部投資,及眾多新創。隨意在網路上搜索一下,就能找到50-100家的訊息。

這波IC投資也有它的挑戰。過去10年的IC投資低潮期,造成了對IC行業投資熟手的缺乏,加上在風口上,連豬都能飛了(也就是Hype Curve的頂峰),眾多的AI晶片新創,到底誰能夠勝出的議題,也越來越常聽到了!


AI晶片的市場

如果我們看看得到最多投資的幾家新創,也能學習到不少市場的風向;這些公司得到的投資金額,在美金$50M 到$100M 以上。包括Wave computing, Cerebras systems, Graphcore, SambaNova Systems, Mythic等。大陸的投資也不少,如寒武紀,地平線,另外深鑒在2018年被Xilinx收購。

.Wave Computing: 宣稱用同一個架構同時滿足data center和edge。但是公司也轉向了,併購了MIPS,理由是多數ADAS系統是用MIPS, 也承認data center 和 edge的需求不易以同一個架構來滿足。

.Cerebras systems,它宣稱要做wafer scale engine,也就是chip比任何市面上的die size要大到56X以上!裡面的compute, memory, communication bandwidth,都遠大於競爭對手;也因此能夠讓AI研究達到以前無法想像的速度與規模!

.SambaNova:這是兩位Stanford教授及一位資深業界IC設計領導所創立的公司,產品針對data center,細節則沒有透漏。它的投資者包括Google創投。

.Graphcore, 它的IPU (intelligent processing unit)可以透過IPU-Links組成clusters,在Poplar software stack下,成功的組成 IPU Server (Dell) ,或裝置進雲端(Microsoft Azure)。它的code也發布在Graphcore GitHub,客戶都能用來驗證性能。IC架構是從頭開始的新設計(沒有討論細節)。公司也宣稱,它的設計是針對image及NLP,並有新的方式來評估性能!

.前四家都針對server/data center 市場。Mythic則針對edge,它的特點在,compute in memory, data flow architecture, analog computing. 也將DNN轉成8 bit 的推論運算,但是能夠維持精確度。Low latency, high performance per watt 是當然。此外它的chip可以單獨使用,也可以組成高性能的整機。

Mythic的網站裡有大篇幅介紹多個應用市場。

從這幾家我們就可以看到幾個重點:
1.每家公司都有明確的市場方向,及競爭特點 – 包含技術特點
2.每家公司都有客戶鏈結
3.Pivot,是新創的常態


矽谷投資人如何看待AI晶片新創

已經有了幾十,甚至上百家的AI晶片新創,矽谷的投資人如何看待這個市場呢?其實投資人從來就不投資技術,而是投資到市場的需求。現在這個思維與台灣過去40年強調技術差距很大。

包含工研院,經常是開發技術,然後尋找市場。在缺乏市場鏈結的情形下,發展“平台”似乎是最容易的做法了。但是誰要用一個尚未建立使用者的平台呢?這是雞生蛋、蛋生雞的矛盾。在矽谷,任何新創都需要從客戶開始。比如Amazon是從賣書開始,到現在無所不賣的平台;eBay是從拍賣開始,到現在也是無所不賣的平台。這些都是T型策略。

另外,在PC時代,有無業界標準呢?其實WinTel(微軟與Intel)要做的就是業界的標準了。因此台灣的公司跟著老大哥就能滿足市場需求了。WiFi, 藍牙,5G,都有標準。但是AI的應用市場可就沒有標準了!怎麼做呢? 我們可以參考MTK的做法。在手機的chipset,MTK一定做出完整手機的參考設計,雖然手機是有標準的,客戶其實是向MTK學習;但是客戶必須掌握銷路及市場。

矽谷的新創怎麼做呢?先辨識出一個夠大的市場,了解市場的痛點(需求),確認誰是重要的客戶;可以是消費者,也可以是公司。用MVP(minimum viable product)來建立商務關係,從客戶回饋來修正方向及技術需求,提供完整解答方案,明確自己solution的競爭優勢。並以執行速度來開發市場;在第一個灘頭堡建立後,擴展到其他的相關市場:就是前面提到Amazon, eBay的做法,也是現在Uber進入Uber Eat,及micro-mobility的做法。

因此投資人都是在問business traction及業務展望。技術,只是due diligence中的重要一環。新創提供的solution,必須能夠應用在足夠大的市場,並且擁有明確的競爭優勢。

開發一個AI晶片,不是只做晶片而已,而是要做一個solution。比如做給edge使用的人臉辨識晶片,針對公司/工廠門禁使用(這個市場夠大嗎?),必須要有訓練DNN model的相關軟體,以及智慧相機實際在門禁使用的應用記錄,及它的競爭優點(請不要講me too及cost down),爭取到第一個客戶。

這樣就很有機會滿足上述投資人的期待了。當然,在超過50家以上的新創及大公司之後,尋找出大市場,solution及競爭優勢是更形挑戰了!


DNN AI晶片市場的未來

當DNN AI晶片市場已經準備滑落Hype curve往谷底時,明顯地有兩條路可以選:

1.能提供一個與目前DNN AI晶片不同且有明顯優勢(10X?)的solution
2.做下一代的技術,以目前AI晶片作為練兵,比如Neuromorhpic computing IC。

幾年前,有緣當面聽到前Stanford校長John Hennessy說:20世紀高科技新創只要有好技術就很有成功機會,但是21世紀高科技新創得要先問誰是願意付錢的買家?

最後,感謝Jean-Claude Junqua, PnP EIR,分享他在AI領域的觀察及投資經驗。

本文依據筆者在矽谷透過當地加速器聽到一年1000-1500家新創的pitch與多家訪問,以及過去4年多與100家台灣新創互動的經驗,分析而得。所有資訊都是從公開來源所得。


文章轉載自工業技術研究院電腦與通訊月刊