在元宇宙中,要實現一滴水珠映射景物的逼真倒影、雪茄燃燒時煙霧彌漫的意境特效,都需要芯片的計算能力千萬倍地提升和圖像處理能力千萬級的擴展。作為人們對數字世界的終極想象,
元宇宙這個舞臺足夠大、技術挑戰也無限高。在通往元宇宙的道路上,芯片是堅實路基和強大底座。為此,《中國電子報》記者采訪了英特爾、英偉達、高通等芯片廠商,看它們在構筑元宇宙之“芯”時如何八仙過海、各顯神通。
元宇宙芯片的算力提升將是千倍級
在2021年4月的GTC線上峰會,英偉達CEO黃仁勛在招牌式的“廚房演講”中,使用了約14秒的“虛擬廚房”和“數字替身”,引發全球媒體熱議。這個以假亂真的“小魔術”,是通過3D掃描、
語音驅動人物口型和動作、衣料等物理材質的還原、廚房建模、可視化預覽等一系列圖像處理技術來完成的。而完成這些動作的基礎是GPU。
“元宇宙首先要有可視化的因素,可視化需要一個具有基于物理正確的光照和材質的仿真環境,也就是圖形技術。基于RTX(英偉達的設計與可視化技術)實時光線追蹤技術,我們把以前需要大量集群離線渲染才能實現的影視級別渲染畫面做到了實時化,RTX技術和其對應的硬件加速單元RT Core正是為此應運而生。”英偉達專業可視化亞太區業務主管沈威在接受《中國電子報》專訪時表示。
要實現《雪崩》中所描述的元宇宙中“每一滴水珠都反射出辦公室窗子縮小了的倒影”的逼真感,對于GPU的光線追蹤和特性還原能力,提出了前所未有的要求。“元宇宙需要對真實物理世界進行映射,
這其中就存在大量的物理計算,比如空氣流體煙霧粒子爆炸等特效,這背后都是CUDA(英偉達推出的并行計算平臺和編程模型)通用計算模型的應用。”沈威說。
實際上,在《雪崩》所構想的元宇宙中,模擬雪茄煙霧所需的算力和“模擬整個地球的天氣系統”不相上下。日本作家鈴木光司的科幻小說《環界》中,允許用戶通過VR頭盔和數據手套接入并以指定人物的視角體驗其人生的虛擬世界“環”,以包含128萬臺巨型計算機的超算集群作為算力底座。
英特爾公司高級副總裁兼加速計算系統和圖形事業部總經理Raja Koduri相信,要如實復現《雪崩》中的元宇宙體驗,現有芯片的計算性能要實現1000倍的增長。“我們必須在相同甚至更低的能耗下實現1000倍的算力增長。按照摩爾定律的增長曲線,未來5年我們能實現大約8~10倍的增長。因此算法、架構、神經網絡算法等,都要在提高計算效率方面發揮作用。”Raja Koduri表示。
對于Raja Koduri提出的目標,英特爾相關負責人向《中國電子報》記者表示,這是一個從E級計算走向Z級計算的過程。
“從2022年的ExaFLOPS(每秒1018次浮點運算)到2028年之前實現ZettaFLOPS(每秒1021次浮點運算)——即讓現有性能提升約1000倍。這條發展路徑將實現架構、功率和散熱、
數據傳輸及制程工藝等領域全面提升。”該負責人指出。
具體來看,英特爾在算力提升和算力基礎打造方面有三個重點。一是提供更多晶體管的核心微縮技術,二是在功率器件和內存增益領域提升半導體性能,三是探索物理學新概念,以重新定義計算。
“我們概述了未來技術發展方向,即通過混合鍵合將封裝中的互連密度提升10倍以上,晶體管微縮面積提升30%至50%,在全新的功率器件和內存技術上取得重大突破,基于物理學新概念所衍生的新技術,
在未來可能會重新定義計算。”英特爾相關負責人表示。
meta英偉達將造全球最快AI超級計算機
2021年12月,百度在元宇宙平臺“希壤”召開百度AI開發者大會。基于數據傳輸算法調優、本地渲染引擎調優和聲學特性建模,百度打造了容納10萬人的元宇宙超級會場,實現了10萬人級的同屏互動、
相互可見,用戶還能聽到實時背景音和空間音效。
今年1月,meta宣布設計并打造了當今運行速度最快的AI超級計算機(以下簡稱RSC)之一,到2022年中期建成后,它將成為世界上運行速度最快的AI超級計算機。
RSC將幫助meta的AI研究人員構建從數萬億個示例中學習的AI模型,跨數百種語言工作,無縫分析文本、圖像和視頻,開發新的AR工具等。meta希望RSC能助力構建全新的AI系統。例如,為一大群使用不同語言的人員提供實時語音翻譯,讓他們可以無縫協作或一起玩AR游戲,最終為構建元宇宙鋪平技術道路。
目前,這款AI超級計算機已經部署了760個英偉達DGX A100系統作為計算節點,共有6080個英偉達A100 GPU。在今年晚些時候的第二階段,RSC將擴展至1.6萬個GPU,提供高達500億億次級混合精度AI計算性能。
據了解,meta與英偉達聯合打造的大型AI研究超級計算機是迄今為止最大的英偉達DGX A100系統。該系統實現了數千個GPU集群的系統優化,可以訓練包含超過1萬億個參數的AI模型,承擔實時識別不法內容等工作。
要實現元宇宙級別的高度模擬和模型創建,AI是必不可少的基礎設施。AI模型的識別和處理能力,能夠進行精細復雜的圖像處理,讓創作者更有效率地生產內容。AI的算法調優能力,能提升視覺、聽覺和交互體驗。同時,具有自監督學習能力的AI,能夠通過大量文本訓練識別有害信息,守護元宇宙的安全。
“無論是無人駕駛中對物體的視覺識別,還是自然語言處理,或者是Omniverse(英偉達的3D仿真模擬和協作平臺)中通過AI來驅動面部表情,其背后都利用了AI技術,AI技術使創作者能脫離大量重復性工作,更好地參與虛擬世界以及元宇宙的構建。”沈威向記者表示。
平臺級芯片將是元宇宙的終極戰場?
無論要進入《雪崩》的元宇宙、科幻電影《頭號玩家》的虛擬游戲世界“綠洲”、《環界》的人工生命計劃“環”、《三體》中模擬地外文明的游戲“三體”,一副以“頭套型屏幕”“電腦目鏡”
“顯示頭盔”等各種名目出現的VR頭盔都是不可或缺的“入場券”。
高通技術公司XR業務中國區負責人郭鵬在接受《中國電子報》專訪時表示,不論元宇宙會發展成何種形態,人們都會需要終端來把物理空間和數字空間連接在一起,并把大家帶入到虛擬現實中。
“元宇宙是一個永遠存在的‘空間互聯網’,能夠連接真實世界和虛擬世界并打造個性化的數字體驗,讓人和萬物都能夠在其中無縫地溝通和交互。人們將通過智能手機、PC、AR/VR終端等計算終端,進入全方位反映現實生活的元宇宙。在元宇宙中,大量用戶和企業能夠以2D和3D形式探索、創建并參與各種各樣的日常體驗和社區及經濟活動。”郭鵬指出。
在很長一段時間里,XR(VR/AR/MR)終端都使用手機SoC作為主力處理器。隨著XR設備的規格持續優化,對于視野、分辨率、刷新率、用戶感知、環境感知、定位技術的需求也不斷提升,
更符合XR性能和功耗需求的專用處理器被提上日程。
2018年5月,高通推出驍龍XR1平臺,該平臺是全球首款XR專用平臺。2019年12月,高通公司推出全球首個5G XR平臺——驍龍XR2平臺。驍龍XR2支持5G連接、每只眼睛90fps 3K×3K的分辨率以及七路并行攝像頭,且具備計算機視覺專用處理器。目前,已有超過50款搭載驍龍平臺的VR和AR終端發布。2020年5月,海思發布XR芯片平臺,推出首款可支持8K解碼能力、集成GPU、NPU的XR芯片,
支持單眼42.7PDD(每度像素數)。
在芯片平臺的基礎上,構建元宇宙體驗還需要渲染引擎、內容生態提供商、互聯網公司、社交和娛樂企業等產業鏈各個環節的協同作戰。郭鵬表示,高通是整個產業鏈中底層技術的提供商,
主要從四個層面支撐元宇宙的構建和發展。首先,是為廠商提供能夠解決XR設備技術難題的專用芯片平臺;其次,打造基于XR專用平臺的參考設計,助力合作伙伴加快終端的規模化商用;
再次,針對XR領域的技術挑戰,提供軟件、空間計算算法和架構;最后,發起一系列硬件和軟件生態系統計劃,減輕合作伙伴在產品商用化過程中的負擔。
構建芯片性能之后,如何有效交付,以“黑盒”的方式讓軟件開發者、程序員和創作者便捷使用,是不遜于芯片制造本身的頭等大事。為此,英特爾、英偉達、高通都面向元宇宙打造了豐富的芯片平臺,
讓開發者更高效地調用芯片性能。
在英特爾的技術構想中,賦能元宇宙的技術基石可概括為三個層次。一是元智能層,旨在提供統一的編程模型以及開放的軟件開發工具和軟件開發庫,以便開發者能夠更輕松地部署復雜的應用程序。
二是元操作層,聚焦于向用戶交付超越本地的可用算力。三是元計算層,為實現元宇宙體驗提供其所需的原始動力。
目前,英特爾已經在計算層面形成了XPU異構計算戰略,包括CPU、GPU、FPGA、AI芯片和其他加速器,將工作負載與適合的架構匹配,以滿足日益增長的算力需求。在異構平臺上,
硬件性能需要軟件來釋放,英特爾基于oneAPI提供了開放、基于標準的編程環境,打破了封閉式編程模型的限制,并支持多種平臺和架構的編程需要。
Omniverse平臺被英偉達定義為“工程師的元宇宙”,將實時光線追蹤等圖形能力、AI和計算(CUDA)三大要素打包交付。沈威表示,Omniverse 已成為構建元宇宙或虛擬世界的技術解決方案,
將助力形成一套以Omniverse為平臺,并擁有強勁算力支撐和先進硬件基礎的元宇宙體系。“在借助Omniverse構建的未來世界中,所有部分都將由AI計算系統驅動并進行處理,
該系統能夠處理它所需要的信息,例如視覺信息、傳感器信息、物理信息和自動化智能。”沈威說。
而高通也在為元宇宙所需的空間計算提供兩個層面的芯片和軟件算法,第一個層面是“我在哪里,我在干什么”,也就是用戶頭部自由度定位、手柄定位以及手勢、眼球、表情和腿的定位等身體感知的基礎技術。第二個層面是空間定位,即對環境的感知。基于上述技術支撐,高通能更高效地支持開發者把虛擬物體放在現實世界中,與現實世界融合。2021年11月,高通還推出了頭戴式AR開發套件驍龍Spaces XR開發者平臺,為開發者提供實現創意的工具,使頭戴式AR實現更多可能。