大規模預訓練模型，人工智能技術新高地。

在這一AI前沿領域，由百度公司打造的文心大模型家族，成為千行百業AI開發的基座大模型，降低了AI產業應用門檻。

產業需要大模型，因為它能加速智能升級。在保險領域，文心大模型的智能解析能力，使文本處理效率提升30倍；在人力資源領域，文心大模型幫助候選人信息智能分類，模型識別準確率達99%；在醫療領域，文心大模型將每份病案的檢查時間，從30分鐘縮短到了秒級別……

“文心大模型來源于產業實踐，同時服務于產業實踐，是在實踐中建設起來的大模型。”百度集團副總裁吳甜在采訪中說，通過大模型與國產深度學習框架融合發展，百度打造了自主創新的AI底座，真正發揮大模型驅動AI規模化應用的產業價值。

圖為百度集團副總裁吳甜

融合創新 力攻世界性技術難關

2019年，百度開始深耕預訓練模型研發，并持續投入大模型的創新升級。2021年底，百度聯合鵬城實驗室發布全球首個知識增強千億大模型——鵬城-百度·文心。

參數規模達2600億，在60多項任務上取得更好效果，如此“硬核”的文心大模型，在應用上具備哪些優勢？在業內人士看來，它通用性好、泛化性強，開發難度更小，標注數據可以更少，AI開發和應用門檻更低，更貼近真實場景應用需求。

真實世界中的數據是有規律可循的。以人的學習來類比，預訓練大模型是解決AI模型的通識教育，得以更高效地從現實世界井噴式產生的數據中進行學習。

“我們設計多種任務，讓模型可以在海量的數據當中進行自監督學習。”吳甜說，這種機制帶來的最大好處，就是找到了一種有效的數據建模方法，把天然存在的大量數據利用起來，打破了原來一定要精標數據才能學習的瓶頸。

在這樣一套機制之下，很多無標注數據都可以用來學習，而且模型學習的數據越來越大，模型也就相應越來越大，形成通用的基礎模型。應用時，只要針對場景進行一些少量的數據標注，交給大模型再進行一次學習，可以得到適合自己場景的一個好的AI模型，大幅度降低了應用AI的門檻。

超大規模深度學習模型訓練中，存在諸多難題。兩年多來，文心在與飛槳深度學習平臺融合發展過程中，攻克了不少技術難關。

大模型訓練，一個主要挑戰就是數據量非常大，模型也非常大。在算力有限情況下，要在給定的資源上，高效地存儲、訓練計算，還要保證模型最后是收斂的，保證模型可用。

據吳甜介紹，在解決如何在給定資源上進行存儲訓練方面，文心采用了飛槳發布的4D混合并行訓練技術。“在鵬城-百度·文心大模型的項目里，我們訓練過程中，使用60臺服務器作為混合并行的一組單元機器訓練，訓練過程中可以采用多組機器做數據并行，進行并行能力擴展，加速訓練進度。”

為解決大模型應用落地難題，為產業大規模應用打開新窗口，百度團隊的大模型在線蒸餾技術，千億模型參數壓縮率可達99.98%，壓縮版模型僅保留0.02%參數規模就能與原有模型效果相當。

此外，知識無時無刻不在產生，如何讓知識和深度學習更好融合，百度仍在不斷創新探索。

海量的數據中蘊含著豐富的知識，怎樣使用無監督的方法自動提煉可用的知識？知識源源不斷動態產生，怎樣能夠學了新知識不忘舊知識？百度知識圖譜已經有高達5500億的知識，面對如此大規模知識，怎樣把已經結構化表示的知識和數據中的非結構化的隱式知識進行統一？面對上述世界性難題，文心大模型仍在做各種融合方法的創新。

落地應用 從產業實踐中來到產業實踐中去 

文心定位于產業級知識增強大模型。“產業級”是其鮮明特征，可以說它來源于產業實踐，服務于產業實踐，在實踐中建設、發展、壯大。

透過一組數據，可以折射文心驅動AI規模化落地應用的巨大價值。目前，文心大模型已支持數百家企業與機構，開發者數量超過6萬，已在數百個場景中落地應用，產業應用數量居業界首位。文心開放調用量也超過5000萬次。

在吳甜看來，文心產業級的定位有兩重含義，一方面是模型產生的過程，與產業應用緊密相關；另一方面，使用模型的時候，搭配一系列面向產業應用的配套工具和平臺。

具體來說，文心的數據來源是產業當中的數據，在做任務設計時，結合大量的產業應用，借助任務構建器不斷提煉任務、挖掘任務，讓模型持續進行學習。在服務于產業的時候，不是單單只有模型提供調用，還結合文心大模型特點，建設了一系列的工具和平臺。用戶可以非常方便、簡單，甚至可以不寫代碼就可以使用。通過這樣的方式，能夠促使更廣泛的場景、行業運用起來。

時至今日，中國的產業數字化水平仍有待提升，文心大模型的這種機制恰恰是解決方法之一。由于文心通過集中的建模形成了基礎通用能力，使得行業企業不必從頭開始做。

事實上，人工智能和產業結合，呈現出寬場景、長周期特點，獲取場景數據有時非常困難。“當AI真正跟各行各業、各種企業場景結合的時候，難度其實是挺高的，而且結合的復雜度也很高。”吳甜認為，必須要有更好、更高效在場景上定義問題、獲取場景小樣本的工作，這項工作本身也存在一定門檻和復雜度。

而在文心全景圖中，以金融和醫療為代表的兩個行業場景模型，顯示出文心在特定場景賦能行業轉型的成效。

通過對海量醫學文獻、醫學教科書、藥典等引入給文心大模型學習，再通過進一步針對臨床數據的持續學習，文心實現了每份病案秒級別完成智能掃描分析，而過去醫生抽檢一份病案通常耗費30多分鐘時間。

基于文心，保險合同實現了智能解析。對于合同相關的30個規則，文心大模型能夠高效、準確識別出來。以中國人壽為例，以前員工分析一份合同需要花費二三十分鐘，現在只需不到1分鐘就能完成對保險合同條款文本的解析識別。

吳甜表示，金融和醫療兩個行業模型，就是百度在金融行業、醫療行業開展大量工作過程當中積累的實踐。

降低門檻 讓更多企業“站在巨人肩膀上”創新

只有具備很強的通用性，AI才能成為產業革命的通用力量。大模型的出現，大幅降低了AI應用門檻，讓大多數企業能夠“站在巨人肩膀上”，加速產業智能化升級。

今年1月，《“十四五”數字經濟發展規劃》發布，促進數字經濟發展得到國家和各地政府部門高度重視。作為智能科技底層技術，大模型在推動數字經濟發展中也貢獻了力量。

AI芯片+AI框架+大模型，形成支撐數字經濟發展的人工智能基礎設施。基于百度飛槳平臺與百舸集群，文心大模型在算法、框架、算力層面實現完全自主創新，百度通過大模型與國產深度學習框架融合發展，為中國產業智能化轉型打造AI大底座。

據吳甜介紹，今年是文心大模型產業落地關鍵年。文心還會發布新技術和模型，包含模型能力提升，包括平臺工具的能力提升。

文心大模型用AI為創意插上騰飛羽翼，尤其在AIGC（人工智能創造內容）領域已經開始大放異彩。

圖為基于文心大模型生成的歌詞和藝術畫

元宇宙虛擬人生、AI版“反詐App”、續寫一本小說……4月16日，2021百度認知AI創意賽“AI創意派”決賽上，這些案例都是參賽選手基于百度飛槳文心大模型開發創造的。在現場互動區，觀眾也可親身體驗到大模型在歌詞生成、畫作生成和對話機器人等應用，同時文創集市上也展現了基于大模型能力生成的T恤、馬克杯、帆布袋、畫冊、明信片等創意周邊。

一位參賽代表表示，百度飛槳開放了ERNIE 3.0知識增強大模型能力，不僅讓我們體會到了大模型的真正實力，也讓每一位對AI感興趣的人都可以充分發揮創造力，去實現關于文字、語言的創意想法。

“這個世界上有技術背景的開發人員還是少數，AI跟場景結合巨大的空間，在于更為廣泛的人群也把AI用起來。”吳甜認為，只有技術門檻低到所有人都可以用，創意才會真正大規模爆發。

據了解，目前文心大模型已通過飛槳開源開放平臺、百度智能云等賦能到工業、能源、金融、通信、媒體、教育等各行各業。

今天的大模型，以學習人類的經驗、規律、知識為主；未來，AI也有可能學到一些人類還沒有學到的一些經驗或者知識。

談到大模型下一步的發展趨勢，吳甜認為，一方面大模型技術本身還有創新空間，百度也在不斷研究怎樣讓這些模型有更強的能力表現。另一方面，大模型的實用性將是接下來重點關注的問題。百度并不是以迅速發布一個更大的模型為目標，而是做出一款模型之后，在落地應用中檢驗效果，并在使用的過程當中調整模型設計。

鍛造AI利器，方可賦能產業創新。中國工程院院士高文曾把預訓練模型比作“人工智能發展的福音”。作為深耕產業級的大模型，期待文心以技術創新、落地應用上的領先性為契機，讓人工智能技術普惠到更多人、更多行業。