GPT-4推理發(fā)揮預(yù)期功效所需服務(wù)器數(shù)量為6652臺(tái),百萬(wàn)億參數(shù)基礎(chǔ)上,所需服務(wù)器數(shù)量將上升至66萬(wàn)臺(tái);根據(jù)硅谷披露GPT-4訓(xùn)練Token數(shù)9萬(wàn)億,測(cè)算得出GPT-4訓(xùn)練所需服務(wù)器數(shù)量為1391臺(tái)。未來(lái)隨著大語(yǔ)言模型不斷迭代、GPT等語(yǔ)言模型滲透率不斷提高,算力時(shí)代下服務(wù)器呈現(xiàn)基建
GPT-4是一個(gè)大型的多模態(tài)模型,相比上一代ChatGPT新增了圖像功能,同時(shí)具備更精準(zhǔn)的語(yǔ)言理解能力。GPT的升級(jí)背后是OpenAI的大語(yǔ)言模型的進(jìn)一步演進(jìn),同時(shí)帶動(dòng)下游應(yīng)用的拓展,涌現(xiàn)出新一批應(yīng)用場(chǎng)景。
GPT升級(jí)至四代,模型能力高速提升。ChatGPT是由OpenAI開(kāi)發(fā)的自然語(yǔ)言生成模型,采用Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)(又稱GPT-3.5架構(gòu)),基于大量的語(yǔ)料庫(kù)使用指示學(xué)習(xí)和人工反饋的強(qiáng)化學(xué)習(xí)(RLHF)來(lái)指導(dǎo)模型訓(xùn)練。模型可理解并生成對(duì)各種主題的類似人類的響應(yīng),是AIGC技術(shù)進(jìn)展的成果。2023年3月15日,OpenAI正式官宣了多模態(tài)大模型GPT-4,ChatGPT4將輸入內(nèi)容擴(kuò)展到2.5萬(wàn)字內(nèi)的文字和圖像,較ChatGPT能夠處理更復(fù)雜、更細(xì)微的問(wèn)題。
表:歷代GPT表現(xiàn)情況
ChatGPT提供變革性的用戶體驗(yàn),用戶數(shù)量飆升。ChatGPT發(fā)布后爆火,僅用5天時(shí)間用戶量便破百萬(wàn),推出2個(gè)月后用戶量破億,訪問(wèn)量從1830萬(wàn)增長(zhǎng)到6.72億,成為史上用戶增長(zhǎng)速度最快的消費(fèi)級(jí)應(yīng)用程序。最新版的GPT-4在ChatGPT的GPT-3.5基礎(chǔ)上主要提升了語(yǔ)言模型方面的能力,并添加了多模態(tài)功能,可以接受圖像輸入并理解圖像內(nèi)容,可接受的文字輸入長(zhǎng)度也增加到3.2萬(wàn)token,在不同語(yǔ)言情景和內(nèi)部對(duì)抗性真實(shí)性評(píng)估的表現(xiàn)都顯著優(yōu)于GPT-3.5,在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上已經(jīng)表現(xiàn)出人類水平,為用戶提供變革性的使用體驗(yàn)。
ChatGPT帶動(dòng)AI潮流,多種相關(guān)產(chǎn)品推出。辦公領(lǐng)域,微軟將GPT-4整合到Office應(yīng)用程序,TeamsPremium中接入ChatGPT提供人工智能生成章節(jié)和字幕實(shí)時(shí)翻譯等功能;編程領(lǐng)域中,VivaSales將利用ChatGPT為電子郵件中客戶問(wèn)題生成回復(fù)建議,Stripe使用GPT-4掃描商業(yè)網(wǎng)站并向客戶支持人員提供摘要;軟件領(lǐng)域,Duolingo將GPT-4構(gòu)建到新的語(yǔ)言學(xué)習(xí)訂閱層中,國(guó)內(nèi)百度“文心一言”也正式推出,AI的潮流開(kāi)始遍布國(guó)內(nèi)外多行業(yè)。
云計(jì)算屬于分布式計(jì)算,滿足各類算力需求。云計(jì)算可以通過(guò)網(wǎng)絡(luò)“云”將所運(yùn)行的巨大的數(shù)據(jù)計(jì)算處理程序分解成無(wú)數(shù)個(gè)小程序,再交由計(jì)算資源共享池進(jìn)行搜尋、計(jì)算及分析后,將處理結(jié)果回傳給用戶,通過(guò)這種方式可以實(shí)現(xiàn)隨時(shí)隨地、便捷地、隨需應(yīng)變地從可配置計(jì)算資源共享池中獲取所需的資源與架構(gòu),包括存儲(chǔ)、數(shù)據(jù)庫(kù)、服務(wù)器、應(yīng)用軟件及網(wǎng)絡(luò)等,靈活調(diào)配計(jì)算機(jī)相關(guān)算力存儲(chǔ)資源。
AI語(yǔ)言模型擴(kuò)大算力需求,云計(jì)算進(jìn)一步發(fā)揮資源優(yōu)化配置功效。面對(duì)AI的需求提升,云計(jì)算可帶來(lái)4個(gè)方面的提升:
1.資源共享和優(yōu)化:云計(jì)算允許多個(gè)用戶共享同一臺(tái)服務(wù)器或一組服務(wù)器的計(jì)算資源。這意味著,與每個(gè)用戶都擁有自己的獨(dú)立服務(wù)器相比,云計(jì)算可以通過(guò)提高資源利用率來(lái)減少服務(wù)器的總數(shù)量。
2.彈性可伸縮:云計(jì)算服務(wù)提供了高度的彈性和可伸縮性,使得用戶可以根據(jù)實(shí)際需求調(diào)整所需的計(jì)算資源。在計(jì)算需求降低時(shí),用戶可以減少資源使用,從而減少服務(wù)器的數(shù)量。而在計(jì)算需求增加時(shí),用戶可以快速擴(kuò)展資源,而無(wú)需購(gòu)買新的服務(wù)器。
3.成本效益:云計(jì)算通常采用按需付費(fèi)的模式,用戶只需支付實(shí)際使用的計(jì)算資源。這種支付模式降低了用戶購(gòu)買和維護(hù)服務(wù)器的成本,使得更多企業(yè)傾向于使用云計(jì)算服務(wù)而不是購(gòu)買自己的服務(wù)器。
4.更快的創(chuàng)新和部署:云計(jì)算使得企業(yè)能夠更快地開(kāi)發(fā)和部署新的應(yīng)用程序和服務(wù)。這減少了對(duì)于購(gòu)買、配置和維護(hù)自有服務(wù)器的需求,從而抑制了服務(wù)器數(shù)量的增長(zhǎng)云計(jì)算為AI提供算力支持,實(shí)現(xiàn)降本增效。由于ChatGPT等一系列大規(guī)模模型對(duì)算力要求較高,廠商自建足夠算力的數(shù)據(jù)中心需要耗費(fèi)巨大的成本以及昂貴的后續(xù)運(yùn)維成本,而云計(jì)算服務(wù)可以有效節(jié)省早期支出,并且大規(guī)模的算力集群還具有集群優(yōu)勢(shì)以提升計(jì)算性能。OpenAI的ChatGPT和其他關(guān)鍵AI產(chǎn)品依賴于微軟Azure云計(jì)算服務(wù),通過(guò)Azure的HPC、彈性、數(shù)據(jù)存儲(chǔ)和計(jì)算服務(wù)來(lái)完成模型計(jì)算和算法調(diào)試,沒(méi)有云計(jì)算,ChatGPT的訓(xùn)練時(shí)間將被一再拉長(zhǎng),運(yùn)用云計(jì)算后GPT-3等模型的訓(xùn)練成本下降了80%以上,從首次訓(xùn)練開(kāi)銷1200萬(wàn)美元降至140萬(wàn)美元。
圖:云計(jì)算的IAAS與傳統(tǒng)服務(wù)器資源配置對(duì)比
云算力市場(chǎng)規(guī)模持續(xù)擴(kuò)大,下游應(yīng)用滲透提升。云算力市場(chǎng)根據(jù)Gartner統(tǒng)計(jì),2021年以IaaS、PaaS、SaaS為代表的全球公有云市場(chǎng)規(guī)模達(dá)到3307億美元,增速達(dá)32.5%。其中,IaaS、PaaS、SaaS市場(chǎng)規(guī)模分別同比增長(zhǎng)42.7%、39.3%、23.6%至916億美元、869億美元、1522億美元。2021年亞馬遜、微軟、阿里云為全球IaaS前三廠商,占據(jù)69.54%市場(chǎng)份額,國(guó)內(nèi)廠商阿里云、華為云、騰訊三家合計(jì)占全球17%的市場(chǎng)份額。目前國(guó)內(nèi)游戲、視頻、電商和金融是主要應(yīng)用領(lǐng)域,醫(yī)療、傳統(tǒng)工業(yè)和政務(wù)領(lǐng)域滲透率逐步增加。
AI與云計(jì)算結(jié)合,提升大數(shù)據(jù)分析計(jì)算能力。AI與云計(jì)算結(jié)合有助于通過(guò)自動(dòng)化冗余活動(dòng)、識(shí)別、排序和索引各種類型的數(shù)據(jù)、管理云中的數(shù)據(jù)事務(wù)、識(shí)別整個(gè)云存儲(chǔ)基礎(chǔ)設(shè)施中的任何故障,幫助改善數(shù)據(jù)管理,優(yōu)化管理流程。例如阿里云推出的飛天智算平臺(tái)提供公共云和專有云兩種模式,為各類科研和智能企業(yè)機(jī)構(gòu)提供強(qiáng)大的智能計(jì)算服務(wù),可將計(jì)算資源利用率提高3倍以上,AI訓(xùn)練效率提升11倍,推理效率提升6倍。云計(jì)算的本質(zhì)是將計(jì)算資源進(jìn)行集中管理和調(diào)度,從而滿足不同用戶的需求,而這些計(jì)算資源的核心就是服務(wù)器。因此,隨著云計(jì)算需求的提升,服務(wù)器數(shù)量的提升也是必然的趨勢(shì)。AI為云計(jì)算所帶來(lái)的巨大計(jì)算量,將直接帶動(dòng)服務(wù)器數(shù)量的提升。
人工智能IT技術(shù)棧分為四層架構(gòu),算力是基礎(chǔ)。人工智能架構(gòu)由芯片層、框架層、模型層和應(yīng)用層四層架構(gòu)組成。其中,芯片層主要是指人工智能芯片,為整個(gè)架構(gòu)提供算力基礎(chǔ)支撐;框架層主要包括深度學(xué)習(xí)訓(xùn)練和推理框架平臺(tái)和數(shù)據(jù)平臺(tái)等;模型層主要是自然語(yǔ)言處理(NLP)、計(jì)算機(jī)視覺(jué)(CV)、音視頻、多模態(tài)等各種大模型;應(yīng)用層則是面向各種應(yīng)用場(chǎng)景的人工智能專業(yè)服務(wù)。下游應(yīng)用體驗(yàn)的升級(jí)需要大模型不斷調(diào)優(yōu)迭代,在深度學(xué)習(xí)框架內(nèi)進(jìn)行大規(guī)模模型的訓(xùn)練和推理,每一次都對(duì)芯片提供的算力基礎(chǔ)提出要求,AI芯片決定了平臺(tái)的基礎(chǔ)架構(gòu)和發(fā)展生態(tài)。
AI芯片主要有CPU、GPU、FPGA及ASIC,以GPU為主的并行計(jì)算為AI提供了主要生產(chǎn)力。
1)CPU(中央處理器)擅長(zhǎng)邏輯控制,用于推理及預(yù)測(cè)。CPU主要由ALU(算術(shù)邏輯單元)、CU(控制單元)與Cache(臨時(shí)指令存儲(chǔ)器)構(gòu)成。其中,ALU由"AndGate"(與門)和"OrGate"(或門)構(gòu)成的算術(shù)邏輯單元,主要功能是進(jìn)行二位元的算術(shù)運(yùn)算,約占CPU空間20%;CU則負(fù)責(zé)程序的流程管理。CPU的執(zhí)行周期是從內(nèi)存中提取第一條指令、解碼并決定其類型和操作數(shù),執(zhí)行,然后再提取、解碼執(zhí)行后續(xù)的指令,重復(fù)循環(huán)直到程序運(yùn)行完畢。CPU具備強(qiáng)大的調(diào)度、管理與協(xié)調(diào)能力,但受限于單行運(yùn)算導(dǎo)致算力較低。
2)GPU圖形處理器,并行計(jì)算滿足強(qiáng)大算力需求。在結(jié)構(gòu)方面,與CPU相比,GPU中同樣具備ALU與CU等架構(gòu),但ALU數(shù)量與體積占比更多,且采用數(shù)量眾多的計(jì)算單元和超長(zhǎng)流水線,具備高并行結(jié)構(gòu),通過(guò)多核并行計(jì)算支撐大算力需求,且擁有更高浮點(diǎn)運(yùn)算能力,在處理圖形數(shù)據(jù)和復(fù)雜算法方面擁有比CPU更高的效率,滿足深度學(xué)習(xí)領(lǐng)域海量數(shù)據(jù)運(yùn)算的需求。但GPU管理控制能力弱,無(wú)法單獨(dú)工作,需由CPU進(jìn)行控制調(diào)用。
3)FPGA半定制化芯片,無(wú)限次編程支持高靈活性。FPGA稱為現(xiàn)場(chǎng)可編程門陣列,基本結(jié)構(gòu)包括可編程輸入輸出單元和可配置邏輯塊等。基于其結(jié)構(gòu),用戶可根據(jù)自身的需求進(jìn)行重復(fù)編程重組電路,具有高度實(shí)時(shí)性和靈活性,可以同時(shí)進(jìn)行數(shù)據(jù)并行和任務(wù)并行計(jì)算,在處理特定應(yīng)用時(shí)有更加明顯的效率提升,可以實(shí)現(xiàn)底層硬件控制操作技術(shù),為算法的功能實(shí)現(xiàn)和優(yōu)化留出了更大空間。
4)ASIC全定制化芯片,高速處理速度疊加低功耗表現(xiàn)。ASIC是為專門目的為設(shè)計(jì)的集成電路,為實(shí)現(xiàn)特定要求而定制的專用AI芯片,能夠在特定功能上進(jìn)行強(qiáng)化,具有更高處理速度與更低能耗。缺點(diǎn)是研發(fā)成本高、前期研發(fā)投入周期長(zhǎng),且由于定制化屬性,可復(fù)制性一般,缺乏一定靈活性。深度學(xué)習(xí)算法穩(wěn)定后,AI芯片可采用ASIC設(shè)計(jì)方法進(jìn)行全定制,使性能、功耗和面積等指標(biāo)面向深度學(xué)習(xí)算法做到最優(yōu)。
圖:GPU、FPGA和ASIC芯片對(duì)比
ChatGPT數(shù)據(jù)量擴(kuò)張,算力需求持續(xù)增加。歷代GPT的參數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng),ChatGPT的總算力消耗約為3640PF-days(每秒計(jì)算一千萬(wàn)億次,需要計(jì)算3640天);GPT-4在ChatGPT的基礎(chǔ)上增加了圖像、視頻等交互信息類型,內(nèi)容容量擴(kuò)大到2.5萬(wàn)字,所需的算力規(guī)模遠(yuǎn)大于單純的文字交互。OpenAI首席執(zhí)行官SamAltman接受公開(kāi)采訪表示,GTP-5在2024年底至2025年發(fā)布,它的參數(shù)量為GTP-3的100倍,需要的計(jì)算量為GTP-3的200-400倍。隨著ChatGPT的用戶和應(yīng)用范圍的持續(xù)擴(kuò)大,數(shù)據(jù)處理的壓力增大,將提出龐大的算力需求。
算力需求帶動(dòng)高算力芯片市場(chǎng),AI芯片市場(chǎng)規(guī)模持續(xù)擴(kuò)張。機(jī)器所產(chǎn)生的數(shù)據(jù)量在2018年首次超越人類所創(chuàng)造的數(shù)據(jù)量,從2019年,每年幾乎以倍數(shù)的幅度來(lái)增加,從2020年到2025年,全球數(shù)據(jù)增量將達(dá)到157Zetabytes,5年GAGR高達(dá)89%。龐大的數(shù)據(jù)增量,必須運(yùn)用各種具備高速運(yùn)算的人工智能芯片來(lái)過(guò)濾、處理分析、訓(xùn)練及推理,這將持續(xù)帶動(dòng)AI芯片,尤其是高算力芯片需求。根據(jù)華經(jīng)產(chǎn)業(yè)研究院發(fā)布的《2021-2026年中國(guó)GPU行業(yè)發(fā)展監(jiān)測(cè)及投資戰(zhàn)略規(guī)劃研究報(bào)告》,2020年全球GPU行業(yè)市場(chǎng)規(guī)模達(dá)254.1億美元,預(yù)計(jì)2027年將達(dá)到1853.1億美元,復(fù)合年均增長(zhǎng)率32.82%,GPU市場(chǎng)保持高速增長(zhǎng)態(tài)勢(shì)。同時(shí)根據(jù)億歐智庫(kù)預(yù)測(cè),2025年我國(guó)AI芯片市場(chǎng)規(guī)模將達(dá)到1780億元,2019-2025GAGR可達(dá)42.9%。
AI技術(shù)的蓬勃發(fā)展和廣泛應(yīng)用,導(dǎo)致對(duì)高性能計(jì)算能力的需求空前旺盛。AI芯片作為行業(yè)的核心組件,其價(jià)格也隨之攀升,成為科技產(chǎn)業(yè)的新增長(zhǎng)點(diǎn)。隨著AI模型復(fù)雜度的增加和參數(shù)量的指數(shù)級(jí)擴(kuò)張,對(duì)計(jì)算能力的要求不斷提高。例如預(yù)計(jì)在2024年底至2025年發(fā)布的GPT-5,其參數(shù)量將是GPT-3的100倍,所需算力為GPT-3的200-400倍。由于高性能AI芯片在滿足這種日益增長(zhǎng)的算力需求方面具有不可替代的作用,算力快速增長(zhǎng)需求下,芯片供給的不確定性有望提升芯片價(jià)格提升。
關(guān)注公眾號(hào)
免費(fèi)獲取更多報(bào)告節(jié)選
免費(fèi)咨詢行業(yè)專家
2023-2028年中國(guó)ChatGPT行業(yè)發(fā)展前景及投資風(fēng)險(xiǎn)預(yù)測(cè)分析報(bào)告
ChatGPT,美國(guó)“開(kāi)放人工智能研究中心”研發(fā)的聊天機(jī)器人程序,于2022年11月30日發(fā)布。是人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具,它能夠通過(guò)學(xué)習(xí)和理解人類的語(yǔ)言來(lái)進(jìn)行對(duì)話,還能根據(jù)聊天的上下C...
查看詳情
產(chǎn)業(yè)規(guī)劃 特色小鎮(zhèn) 產(chǎn)業(yè)園區(qū)規(guī)劃 產(chǎn)業(yè)地產(chǎn) 可研報(bào)告 商業(yè)計(jì)劃書 細(xì)分市場(chǎng)研究 IPO上市咨詢
閥門作為一種常見(jiàn)機(jī)械裝置,除工業(yè)生產(chǎn)、生活等應(yīng)用領(lǐng)域外,也普遍應(yīng)用于各種半導(dǎo)體設(shè)備之中,是其真空系統(tǒng)和流體系統(tǒng)...
閥門作為一種常見(jiàn)機(jī)械裝置,除工業(yè)生產(chǎn)、生活等應(yīng)用領(lǐng)域外,也普遍應(yīng)用于各種半導(dǎo)體設(shè)備之中,是其真空系統(tǒng)和流體系統(tǒng)...
第一階段:CRT時(shí)代,美國(guó)引領(lǐng)全球(1950-1972)顯示面板產(chǎn)業(yè)最早可以追溯到上世紀(jì)50年代。1950年,美國(guó)無(wú)線電公司(RC...
在高性能和低能耗半導(dǎo)體器件驅(qū)動(dòng)下,半導(dǎo)體材料經(jīng)歷四次更迭。半導(dǎo)體材料是制造半導(dǎo)體器件和集成電路的電子材料,是電...
電子氣體包括電子特種氣體和電子大宗氣體,是集成電路、顯示面板、半導(dǎo)體照明、光伏等行業(yè)生產(chǎn)制造過(guò)程中不可或缺的關(guān)...
充電樁可以類比加油站,是新能源汽車能源供給的重要來(lái)源,也是純電汽車能源供給的唯一來(lái)源。近年來(lái)隨著全球新能源汽車...
中研普華集團(tuán)聯(lián)系方式廣告服務(wù)版權(quán)聲明誠(chéng)聘英才企業(yè)客戶意見(jiàn)反饋報(bào)告索引網(wǎng)站地圖 Copyright ? 1998-2022 ChinaIRN.COM All Rights Reserved. 版權(quán)所有 中國(guó)行業(yè)研究網(wǎng)(簡(jiǎn)稱“中研網(wǎng)”) 粵ICP備05036522號(hào)
微信掃一掃