Uploads%2farticles%2f15375%2f%e7%99%be%e5%ba%a6%e7%9b%b4%e6%92%ad 0006

2021-12-09

全球首個(gè)知識(shí)增強(qiáng)千億大模型鵬城-百度·文心發(fā)布

百度聯(lián)合鵬城實(shí)驗(yàn)室萝嘁，推進(jìn)產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)

作為當(dāng)前人工智能發(fā)展的重要方向柴我，預(yù)訓(xùn)練大模型已成為 AI 領(lǐng)域的技術(shù)新高地媒区。

12 月 8 日靡砌，百度聯(lián)合鵬城實(shí)驗(yàn)室重磅發(fā)布雙方共同研發(fā)的全球首個(gè)知識(shí)增強(qiáng)千億大模型——鵬城-百度·文心（模型版本號(hào)：ERNIE 3.0 Titan）已脓，該模型參數(shù)規(guī)模達(dá)到 2600 億，在 60 多項(xiàng) NLP 任務(wù)中取得世界領(lǐng)先效果通殃。

同時(shí)度液，百度產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型「文心」全景圖首次亮相厕宗，其中既包含基礎(chǔ)通用的大模型，也包含面向重點(diǎn)領(lǐng)域和重點(diǎn)任務(wù)的大模型堕担，同時(shí)還有豐富工具與平臺(tái)支撐高效便捷的應(yīng)用開發(fā)已慢。從技術(shù)自主創(chuàng)新和加速產(chǎn)業(yè)應(yīng)用兩方面，推動(dòng)中國 AI 發(fā)展更進(jìn)一步霹购。

現(xiàn)場佑惠，中國工程院院士、鵬城實(shí)驗(yàn)室主任高文齐疙，百度首席技術(shù)官膜楷、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室主任王海峰共同啟動(dòng)發(fā)布儀式。

△ 中國工程院院士贞奋、鵬城實(shí)驗(yàn)室主任高文（左）赌厅，百度首席技術(shù)官王海峰聯(lián)合發(fā)布鵬城-百度·文心

百度產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型

百度文心大模型包含 NLP（自然語言理解）大模型、CV（計(jì)算機(jī)視覺）大模型和跨模態(tài)大模型轿塔。在大模型之上察蹲，是大模型零門檻 AI 開發(fā)平臺(tái) EasyDL 和大模型全功能 AI 開發(fā)平臺(tái) BML。此外催训，還有大模型開發(fā)工具洽议、大模型輕量化工具和大模型部署工具。

而「知識(shí)增強(qiáng)」是文心大模型的核心特色漫拭。百度知識(shí)增強(qiáng)大模型能夠從大規(guī)模知識(shí)和海量無結(jié)構(gòu)數(shù)據(jù)中融合學(xué)習(xí)亚兄，學(xué)習(xí)效率更高、效果更好采驻，具有良好的可解釋性审胚。

百度知識(shí)增強(qiáng)大模型文心具有通用性好、泛化性強(qiáng)的特點(diǎn)礼旅，使開發(fā)難度更小膳叨、標(biāo)注數(shù)據(jù)可以更少，降低了AI開發(fā)和應(yīng)用的門檻痘系，滿足真實(shí)場景中的應(yīng)用需求菲嘴。目前，百度文心大模型已廣泛應(yīng)用在金融汰翠、醫(yī)療龄坪、保險(xiǎn)、證券复唤、辦公健田、互聯(lián)網(wǎng)、物流等行業(yè)佛纫。

鵬城-百度·文心千億大模型

此次發(fā)布的鵬城-百度·文心千億大模型是全球首個(gè)知識(shí)增強(qiáng)千億大模型妓局，也是目前為止全球最大的中文單體預(yù)訓(xùn)練語言模型总放，參數(shù)規(guī)模達(dá)到 2600 億，相比 GPT-3 的參數(shù)量提升 50%好爬。

該模型是融合了自然語言理解和自然語言生成的全能模型间聊，致力于解決傳統(tǒng) AI 模型泛化性差、強(qiáng)依賴昂貴人工標(biāo)注數(shù)據(jù)抵拘、落地成本高等應(yīng)用問題，在各類AI應(yīng)用場景都具備了極強(qiáng)的泛化能力型豁。

△ 鵬城-百度·文心模型結(jié)構(gòu)圖

該模型學(xué)習(xí)了多源異構(gòu)的大規(guī)模數(shù)據(jù)與知識(shí)僵蛛，通過文心知識(shí)增強(qiáng)算法，實(shí)現(xiàn)知識(shí)與數(shù)據(jù)融合學(xué)習(xí)迎变，提升了模型效率充尉。

飛槳端到端自適應(yīng)分布式框架實(shí)現(xiàn)了多硬件支持，使模型并行效率高達(dá) 90%衣形。而鵬城實(shí)驗(yàn)室自研的算力系統(tǒng)「鵬城云腦 II」為模型提供支持驼侠，該算力集群是我國首個(gè)國產(chǎn) E 級(jí) AI 算力平臺(tái)，吞吐性能國際領(lǐng)先谆吴。

目前倒源，該模型已在機(jī)器閱讀理解、文本分類句狼、語義相似度計(jì)算等 60 多項(xiàng) NLP 任務(wù)中取得世界領(lǐng)先效果笋熬。

在行業(yè)領(lǐng)域，僅利用少量標(biāo)注數(shù)據(jù)甚至無需標(biāo)注數(shù)據(jù)腻菇，就能解決新場景的任務(wù)已成為 AI 工業(yè)化大規(guī)模應(yīng)用的關(guān)鍵胳螟。該模型在 30 余項(xiàng)小樣本和零樣本任務(wù)上均取得了世界領(lǐng)先成績，能夠?qū)崿F(xiàn)各類 AI 應(yīng)用場景效果的提升筹吐，也為產(chǎn)業(yè)化規(guī)模應(yīng)用打開了新窗口糖耸。

2-%E9%B9%8F%E5%9F%8E-%E7%99%BE%E5%BA%A6%C2%B7%E6%96%87%E5%BF%83%E5%B0%8F%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0%E6%95%88%E6%9E%9C

△ 鵬城-百度·文心小樣本學(xué)習(xí)效果

3-%E9%B9%8F%E5%9F%8E-%E7%99%BE%E5%BA%A6%C2%B7%E6%96%87%E5%BF%83%E9%9B%B6%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0%E6%95%88%E6%9E%9C

△ 鵬城-百度·文心零樣本學(xué)習(xí)效果

飛槳助力助力模型訓(xùn)練創(chuàng)新

飛槳是我國首個(gè)自研的深度學(xué)習(xí)開源開放平臺(tái)，在訓(xùn)練技術(shù)層面有諸多創(chuàng)新丘薛，它創(chuàng)新采用了 4D 混合并行訓(xùn)練嘉竟，以及端到端自適應(yīng)分布式訓(xùn)練框架。

基于這一架構(gòu)洋侨，鵬城-百度·文心的訓(xùn)練性能是傳統(tǒng)分布式訓(xùn)練方法 2.1 倍周拐，并行效率高達(dá) 90%。這是世界上為數(shù)不多的超大規(guī)模模型訓(xùn)練框架凰兑。

為了進(jìn)一步提高訓(xùn)練的穩(wěn)定性和資源利用率妥粟，飛槳還提供彈性調(diào)度模塊，能感知硬件資源變化吏够，如故障勾给、擴(kuò)容滩报、縮容，來自動(dòng)重新構(gòu)建資源視圖播急，并觸發(fā)飛槳框架的各個(gè)模塊來自動(dòng)的做出反應(yīng)脓钾，如模型切分、硬件映射桩警、流水執(zhí)行可训，在不中斷訓(xùn)練的情況下，彈性調(diào)度集群可用資源捶枢，來進(jìn)一步提升訓(xùn)練的性能握截。

目前，百度文心通過百度飛槳平臺(tái)陸續(xù)對外開源開放烂叔，并已大規(guī)模應(yīng)用于百度搜索谨胞、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品蒜鸡，同時(shí)通過百度智能云賦能工業(yè)胯努、能源、金融逢防、通信叶沛、媒體、教育等各行各業(yè)忘朝。

在金融領(lǐng)域恬汁，基于百度文心實(shí)現(xiàn)了合同智能解析，能夠在一分鐘內(nèi)完成對相關(guān)合同條款文本的解析識(shí)別辜伟，速度是之前的幾十倍氓侧，大大提升了工作效率。百度智能云的智能客服也基于百度文心提升了服務(wù)的精準(zhǔn)性导狡，目前已經(jīng)在中國聯(lián)通约巷、浦發(fā)銀行等企業(yè)應(yīng)用，拓展到全國各地旱捧。

從 AI 核心技術(shù)到 AI 基礎(chǔ)平臺(tái)独郎，從技術(shù)創(chuàng)新到實(shí)踐落地再到開放生態(tài)，多年來枚赡，以百度為代表的中國 AI 企業(yè)堅(jiān)持自主創(chuàng)新氓癌、開源開放，加強(qiáng)產(chǎn)學(xué)研協(xié)合作贫橙，不斷降低 AI 技術(shù)開發(fā)和應(yīng)用的門檻贪婉，為各行各業(yè)提供高質(zhì)量發(fā)展新動(dòng)能。