當(dāng)前主流 AI 框架的核心技術(shù)結(jié)構(gòu)

• 曾理偉 2023年10月18日 來(lái)源：中研網(wǎng) 758 45
• 繁體

基礎(chǔ)層基礎(chǔ)層實(shí)現(xiàn) AI 框架最基礎(chǔ)核心的功能，具體包括編程開(kāi)發(fā)、編譯優(yōu)化以及硬件使能三個(gè)子層。編程開(kāi)發(fā)層是開(kāi)發(fā)者與 AI 框架互動(dòng)的窗口，為開(kāi)發(fā)者提供構(gòu)建 AI 模型的 API 接口。編譯優(yōu)化層是 AI 框架的關(guān)鍵部分，負(fù)責(zé)完成 AI 模型的編譯優(yōu)化并調(diào)度硬件資A

根據(jù)技術(shù)所處環(huán)節(jié)及定位，當(dāng)前主流 AI 框架的核心技術(shù)可分 為基礎(chǔ)層、組件層和生態(tài)層。

1.基礎(chǔ)層

基礎(chǔ)層實(shí)現(xiàn) AI 框架最基礎(chǔ)核心的功能，具體包括編程開(kāi)發(fā)、編譯優(yōu)化以及硬件使能三個(gè)子層。編程開(kāi)發(fā)層是開(kāi)發(fā)者與 AI 框架互動(dòng)的窗口，為開(kāi)發(fā)者提供構(gòu)建 AI 模型的 API 接口。編譯優(yōu)化層是 AI 框架的關(guān)鍵部分，負(fù)責(zé)完成 AI 模型的編譯優(yōu)化并調(diào)度硬件資源完成計(jì)算。硬件使能層是 AI 框架與 AI 算力硬件對(duì)接的通道，幫助開(kāi)發(fā)者屏蔽底層硬件技術(shù)細(xì)節(jié)。

編程開(kāi)發(fā)-編程接口 API：開(kāi)發(fā)者通過(guò)調(diào)用編程接口來(lái)描述算法的計(jì)算過(guò)程。對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，編程接口的易用性以及接口的表達(dá)能力非常重要，對(duì)算法的描述會(huì)映射到計(jì)算圖上。編程接口主要可以分為 3 類：一類是基于數(shù)據(jù)流圖的編程接口，流行的基于數(shù)據(jù)流圖的機(jī)器學(xué)習(xí)編程框架包括 TensorFlow、MXNet、Theano、Torch7等；另一類是基于層的編程接口，如 Caffe；還有一類是基于算法的編程接口，主要用于傳統(tǒng)機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)，如 Scikit-Learn。編程開(kāi)發(fā)-編碼語(yǔ)言：人工智能應(yīng)用場(chǎng)景眾多，人工智能開(kāi)發(fā)者基于不同場(chǎng)景選擇使用的編程語(yǔ)言多樣，完善的 AI 框架應(yīng)支持多種不同的語(yǔ)言，例如 Python/倉(cāng)頡/Julia 等。面向使用不同編程語(yǔ)言的開(kāi)發(fā)者，AI 框架需要提供功能相同、性能可比的開(kāi)發(fā)服務(wù)和技術(shù)支持。

編譯優(yōu)化-分布式并行：指數(shù)據(jù)流并行、模型并行、Pipeline 并行、優(yōu)化器并行等策略。隨著模型規(guī)模的增大，傳統(tǒng)的數(shù)據(jù)并行無(wú)法有效處理，自動(dòng)并行技術(shù)的使用將會(huì)是常態(tài)。需要將大模型切分到不同的設(shè)備上，切分就是將不同大塊計(jì)算切分成小塊計(jì)算，并將小塊計(jì)算發(fā)送到不同的計(jì)算資源進(jìn)行計(jì)算，最后將小塊計(jì)算的結(jié)構(gòu)進(jìn)行規(guī)約合并。而切分策略尋優(yōu)是很困難的，不同的切分產(chǎn)生的通信量差異巨大，計(jì)算利用率也很不一樣，比如 Pipeline 并行往往在計(jì)算利用率方面存在較大的挑戰(zhàn)，算子切分的并行則在通信量方面存在較大的挑戰(zhàn)，需要 AI 框架來(lái)支持。

編譯優(yōu)化-自動(dòng)微分：自動(dòng)微分是將一個(gè)復(fù)雜的數(shù)學(xué)運(yùn)算過(guò)程分解為一系列簡(jiǎn)單的基本運(yùn)算，每一項(xiàng)基本運(yùn)算都可以通過(guò)查表得出來(lái)。自動(dòng)微分有兩種形式，包括前向模式(forward mode)和反向模式(reverse mode)，前向模式是在計(jì)算圖前向傳播的同時(shí)計(jì)算微分，反向模式需要對(duì)計(jì)算圖進(jìn)行一次正向計(jì)算，得出輸出值，再進(jìn)行反向傳播。因此反向模式的內(nèi)存開(kāi)銷要大一點(diǎn)，它需要保存正向傳播中的中間變量值，這些變量值用于反向傳播的時(shí)候計(jì)算導(dǎo)數(shù)。

編譯優(yōu)化-動(dòng)靜轉(zhuǎn)換：靜態(tài)圖在定義執(zhí)行前的所有操作和網(wǎng)絡(luò)結(jié)構(gòu)，并將其呈現(xiàn)給傳感器流，在訓(xùn)練期間提供了更高的性能，但這樣做的代價(jià)是不易于使用、不夠靈活。動(dòng)態(tài)圖計(jì)算是即時(shí)執(zhí)行的，提供了更大的靈活性和更容易的調(diào)試，但這樣做的代價(jià)是性能較低。TensorFlow2.0、MindSpore 等均支持動(dòng)態(tài)圖和靜態(tài)圖的轉(zhuǎn)換技術(shù)，可以實(shí)現(xiàn)計(jì)算效率和靈活性的平衡。

編譯優(yōu)化-模型輕量化：輕量化是指為滿足 AI 模型尺寸小、計(jì)算復(fù)雜度低、電池耗電量低、下發(fā)更新部署靈活等要求下，AI 框架所配置的輕量化技術(shù)。一般來(lái)說(shuō)，模型輕量化就是指模型壓縮和加速，其中壓縮重點(diǎn)在于減少網(wǎng)絡(luò)參數(shù)量，加速則側(cè)重在降低計(jì)算復(fù)雜度、提升并行能力等。算法層壓縮加速主要包括結(jié)構(gòu)優(yōu)化（如矩陣分解、分組卷積、小卷積核等）、量化與定點(diǎn)化、模型剪枝、模型蒸餾等；框架層加速主要包括編譯優(yōu)化、緩存優(yōu)化、稀疏存儲(chǔ)和計(jì)算、NEON 指令應(yīng)用、算子優(yōu)化等。

編譯優(yōu)化-圖算融合：通過(guò)自動(dòng)分析和優(yōu)化現(xiàn)有網(wǎng)絡(luò)計(jì)算圖邏輯，并結(jié)合目標(biāo)硬件能力，對(duì)計(jì)算圖進(jìn)行計(jì)算化簡(jiǎn)和替代、算子拆分和融合、算子特例化編譯等優(yōu)化，以提升設(shè)備計(jì)算資源利用率，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)性能的整體優(yōu)化。相比傳統(tǒng)優(yōu)化技術(shù)，圖算融合具有多算子跨邊界聯(lián)合優(yōu)化、與算子編譯跨層協(xié)同、基于 Polyhedral 的算子即時(shí)編譯等獨(dú)特優(yōu)勢(shì)。另外，圖算融合只需要開(kāi)發(fā)者打開(kāi)對(duì)應(yīng)配置，整個(gè)優(yōu)化過(guò)程即可自動(dòng)完成，不需要網(wǎng)絡(luò)開(kāi)發(fā)人員進(jìn)行其它額外感知，使得開(kāi)發(fā)者可以聚焦網(wǎng)絡(luò)算法實(shí)現(xiàn)。

編譯優(yōu)化-內(nèi)存優(yōu)化：由于硬件系統(tǒng)的內(nèi)存資源有限，特別是AI 芯片的內(nèi)存資源有限，需要有高效的內(nèi)存優(yōu)化策略降低 AI 網(wǎng)絡(luò)對(duì)系統(tǒng)內(nèi)存的消耗。一般常用的內(nèi)存優(yōu)化技術(shù)有：靜態(tài)內(nèi)存復(fù)用優(yōu)化和動(dòng)態(tài)內(nèi)存分配機(jī)制。靜態(tài)內(nèi)存復(fù)用優(yōu)化會(huì)分析計(jì)算圖的數(shù)據(jù)流關(guān)系，基于數(shù)據(jù)的內(nèi)存占用大小、數(shù)據(jù)間的生命周期重疊關(guān)系，規(guī)劃數(shù)據(jù)的內(nèi)存復(fù)用策略，從而最小化內(nèi)存占用。動(dòng)態(tài)內(nèi)存分配機(jī)制是在運(yùn)行時(shí)創(chuàng)建大塊內(nèi)存，并按照實(shí)際算子執(zhí)行過(guò)程中需要的內(nèi)存進(jìn)行內(nèi)存切片提供，當(dāng)算子執(zhí)行完且相關(guān)數(shù)據(jù)的引用均已結(jié)束時(shí)，釋放內(nèi)存切片，從而實(shí)現(xiàn)內(nèi)存的有效復(fù)用。

編譯優(yōu)化-算子生成：AI 框架會(huì)提供基礎(chǔ)常用的算子，但是這些算子往往不能滿足開(kāi)發(fā)者算法不斷演進(jìn)的需求。因此，需要 AI框架具備針對(duì)不同算力設(shè)備的統(tǒng)一算子生成和優(yōu)化的能力，使得開(kāi)發(fā)人員只需要編寫(xiě)高層編程語(yǔ)言（如 DSL）就可以通過(guò) AI 框架提供的算子編譯生成能力，生成高質(zhì)量的底層算子，極大降低 AI 框架和硬件平臺(tái)的開(kāi)發(fā)和維護(hù)成本，拓展應(yīng)用范圍。

編譯優(yōu)化-中間表示：中間表示（Intermediate Representation，簡(jiǎn)稱 IR）是對(duì)計(jì)算圖和算子格式的定義。完備的中間表示需要支持不同硬件設(shè)備算子定義和計(jì)算圖的性能優(yōu)化，支持不同類型的 AI模型網(wǎng)絡(luò)結(jié)構(gòu)的靈活表達(dá)，支持不同設(shè)備間的模型中轉(zhuǎn)和遷移。硬件接入-計(jì)算算子：在深度學(xué)習(xí)領(lǐng)域計(jì)算算子特指計(jì)算圖中的一個(gè)函數(shù)節(jié)點(diǎn)，一個(gè)在張量上執(zhí)行的計(jì)算操作，它接受零或多個(gè)張量作為輸入，得到零或多個(gè)張量作為輸出，利用梯度、散度、旋度的表達(dá)方式進(jìn)行計(jì)算。

硬件接入-通信算子：用于分布式節(jié)點(diǎn)通信的函數(shù)節(jié)點(diǎn)。

2.組件層

組件層主要提供 AI 模型生命周期的可配置高階功能組件，實(shí)現(xiàn)細(xì)分領(lǐng)域性能的優(yōu)化提升，包括編譯優(yōu)化組件、科學(xué)計(jì)算組件、安全可信組件、工具組件等，對(duì)人工智能模型開(kāi)發(fā)人員可見(jiàn)。

并行及優(yōu)化組件-自動(dòng)并行：指對(duì)自動(dòng)并行技術(shù)的多樣化組合支持。AI 框架支持開(kāi)發(fā)者進(jìn)行多種不同并行進(jìn)行組合，根據(jù)需要形成混合并行策略，例如數(shù)據(jù)流并行和模型并行的組合、數(shù)據(jù)流和Pipeline 并行的組合等，支持開(kāi)發(fā)者個(gè)性化的選擇自己的并行策略，以更靈活的姿態(tài)支持人工智能模型訓(xùn)練、應(yīng)用適配。

并行及優(yōu)化組件-高階優(yōu)化器：AI 框架支持多種不同的一階/二階優(yōu)化器，能為開(kāi)發(fā)者提供靈活方便的接口，例如 SGD 優(yōu)化器、SGDM 優(yōu)化器、NAG 優(yōu)化器、AdaGrad 優(yōu)化器、AdaDelta 優(yōu)化器、Adam 優(yōu)化器、Nadam 優(yōu)化器等。

科學(xué)計(jì)算組件-科學(xué)計(jì)算（數(shù)值方法）：人工智能發(fā)展的重要方向之一是科學(xué)計(jì)算，因此要求 AI 框架向開(kāi)發(fā)者提供科學(xué)計(jì)算相關(guān)的功能支持，通過(guò)函數(shù)式編程范式為 AI+科學(xué)計(jì)算提供融合的表達(dá)方式，使得開(kāi)發(fā)者以更加接近數(shù)學(xué)計(jì)算的方式進(jìn)行編程，以緩解當(dāng)前 AI 框架的編程接口主要面向深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，但是科學(xué)計(jì)算中需要大量的數(shù)學(xué)公式的表達(dá)（例如微分方程求解）的情況。

科學(xué)計(jì)算組件-科學(xué)計(jì)算（AI 方法）：針對(duì) AI 方法直接替代數(shù)值方法取得計(jì)算結(jié)果的形式，AI 框架需要具備“AI+科學(xué)計(jì)算”統(tǒng)一的數(shù)據(jù)底座，將傳統(tǒng)科學(xué)計(jì)算的輸入數(shù)據(jù)（如傳統(tǒng)科學(xué)計(jì)算軟件生成的仿真數(shù)據(jù)）轉(zhuǎn)換為 AI 框架的輸入數(shù)據(jù)（即張量）。針對(duì) AI 方法與數(shù)值方法配合取得計(jì)算結(jié)果形式，除了需要具備統(tǒng)一的數(shù)據(jù)引擎之外，AI 框架需要支持傳統(tǒng)數(shù)值計(jì)算的方法，例如高階微分求解、線性代數(shù)計(jì)算等，并通過(guò)計(jì)算圖對(duì)傳統(tǒng)數(shù)值方法和 AI 方法的混合計(jì)算優(yōu)化，從而實(shí)現(xiàn)“AI+科學(xué)計(jì)算”端到端加速。

安全可信組件-AI 可解釋：AI 框架需要具備三個(gè)層面的能力支持可解釋人工智能。建模前的“數(shù)據(jù)可解釋”，分析數(shù)據(jù)分布，找出代表性的特征，在訓(xùn)練時(shí)選擇需要的特征進(jìn)行建模。構(gòu)建“可解釋人工智能模型”，通過(guò)與傳統(tǒng)機(jī)器學(xué)習(xí)（如貝葉斯概率編程）結(jié)合的方式，對(duì)人工智能結(jié)構(gòu)進(jìn)行補(bǔ)充，平衡學(xué)習(xí)結(jié)果的有效性和學(xué)習(xí)模型的可解釋性。對(duì)已構(gòu)筑模型進(jìn)行“解釋性分析”，通過(guò)分析人工智能模型的輸入、輸出、中間信息的以來(lái)關(guān)系分析（如TB-Net的方式）及驗(yàn)證模型的邏輯。

安全可信組件-數(shù)據(jù)安全：人工智能領(lǐng)域的數(shù)據(jù)安全問(wèn)題不僅僅涉及到原始數(shù)據(jù)本身的保護(hù)，還要防止通過(guò)模型推理結(jié)果反推出數(shù)據(jù)隱私關(guān)鍵信息。因此，AI框架本身除了要提供數(shù)據(jù)資產(chǎn)保護(hù)能力，還需要通過(guò)差分隱私等方式，保護(hù)模型數(shù)據(jù)的隱私。同時(shí)，為了源頭保護(hù)數(shù)據(jù)安全，AI框架通過(guò)聯(lián)邦學(xué)習(xí)等方式進(jìn)行模型訓(xùn)練，使得數(shù)據(jù)不出端的情況下模型得到訓(xùn)練更新。

安全可信組件-模型安全：訓(xùn)練模型時(shí)樣本訓(xùn)練不足，使得模型泛化能力不足，導(dǎo)致模型面對(duì)惡意樣本時(shí)，無(wú)法給出正確的判斷結(jié)果。為此，AI框架首先需要提供豐富的人工智能魯棒性檢測(cè)工具，通過(guò)黑盒、白盒、灰盒測(cè)試等對(duì)抗檢測(cè)技術(shù)測(cè)試人工智能模型的魯棒性，如靜態(tài)結(jié)構(gòu)分析，動(dòng)態(tài)路徑分析等；其次，AI框架可以通過(guò)支持網(wǎng)絡(luò)蒸餾、對(duì)抗訓(xùn)練等方式幫助開(kāi)發(fā)者提高模型的魯棒性。

工具組件-訓(xùn)練可視化：支持訓(xùn)練過(guò)程可視化，可通過(guò)頁(yè)面直接查看訓(xùn)練過(guò)程中的核心內(nèi)容，包括訓(xùn)練標(biāo)量信息、參數(shù)分布圖、計(jì)算圖、數(shù)據(jù)圖、數(shù)據(jù)抽樣等模塊。

工具組件-調(diào)試器：神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常出現(xiàn)數(shù)值誤差情況，如無(wú)窮大等，開(kāi)發(fā)者希望分析訓(xùn)練無(wú)法收斂的原因。但是，由于計(jì)算被封裝為黑盒，以圖的方式執(zhí)行，開(kāi)發(fā)者很難定位其中的錯(cuò)誤。調(diào)試器是訓(xùn)練調(diào)試的工具，開(kāi)發(fā)者可以在訓(xùn)練過(guò)程中查看圖的內(nèi)部結(jié)構(gòu)以及節(jié)點(diǎn)的輸入/輸出，例如查看一個(gè)張量的值，查看圖中的節(jié)點(diǎn)對(duì)應(yīng)的Python代碼等。此外，開(kāi)發(fā)者還可以選擇一組節(jié)點(diǎn)設(shè)置條件斷點(diǎn)，實(shí)時(shí)監(jiān)控節(jié)點(diǎn)的計(jì)算結(jié)果。

3.生態(tài)層

生態(tài)層主要面向應(yīng)用服務(wù)，用以支持基于AI框架開(kāi)發(fā)的各種人工智能模型的應(yīng)用、維護(hù)和改進(jìn)，對(duì)于開(kāi)發(fā)人員和應(yīng)用人員均可見(jiàn)。

套件/模型庫(kù)：AI框架應(yīng)對(duì)領(lǐng)域通用任務(wù)提供預(yù)訓(xùn)練模型或者定義好的模型結(jié)構(gòu)，方便開(kāi)發(fā)者獲取和開(kāi)展人工智能模型訓(xùn)練和推理，如CV、NLP等。

AI領(lǐng)域擴(kuò)展庫(kù)：AI框架要能夠提供豐富的領(lǐng)域任務(wù)支持，并為相關(guān)任務(wù)提供典型案例，從而提供更好的應(yīng)用服務(wù)，如GNN、強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等。

AI+科學(xué)計(jì)算：與CV、NLP等傳統(tǒng)信息領(lǐng)域不同，科學(xué)計(jì)算問(wèn)題的求解需要具備相對(duì)專業(yè)的領(lǐng)域知識(shí)。為了加速AI+科學(xué)計(jì)算融合的研究和落地，AI框架需要面向不同的科學(xué)計(jì)算領(lǐng)域（如電磁仿真、科學(xué)制藥、能源、氣象、生物、材料等）提供簡(jiǎn)單易用的科學(xué)計(jì)算套件，這些套件包含高質(zhì)量的領(lǐng)域數(shù)據(jù)集、高精度的基礎(chǔ)AI模型和用于前后處理的工具集合。

文檔：AI框架應(yīng)提供完善的文檔體系，包括但不限于框架說(shuō)明文檔、框架API文檔、框架版本變更文檔、框架常見(jiàn)問(wèn)題文檔、框架特性文檔等。

社區(qū)：人工智能服務(wù)發(fā)展需要社區(qū)支持，AI框架應(yīng)該經(jīng)營(yíng)或者維護(hù)良好的社區(qū)環(huán)境，好的AI框架具備較好的維護(hù)性和易用性，同時(shí)AI框架社區(qū)中應(yīng)該有代表性項(xiàng)目并長(zhǎng)期支持基于該框架的項(xiàng)目和應(yīng)用。

欲了解更多AI行業(yè)的未來(lái)發(fā)展前景，可以點(diǎn)擊查看中研普華產(chǎn)業(yè)院研究報(bào)告《2022年版5G通信技術(shù)背景下邊緣計(jì)算+AI發(fā)展趨勢(shì)及應(yīng)用專項(xiàng)研究報(bào)告》

• 相關(guān)深度報(bào)告REPORTS

  

  2023-2028年中國(guó)警用軟件系統(tǒng)行業(yè)市場(chǎng)前瞻與未來(lái)投資戰(zhàn)略分析報(bào)告

  在激烈的市場(chǎng)競(jìng)爭(zhēng)中，企業(yè)及投資者能否做出適時(shí)有效的市場(chǎng)決策是制勝的關(guān)鍵。警用軟件系統(tǒng)行業(yè)研究報(bào)告就是為了解行情、分析環(huán)境提供依據(jù)，是企業(yè)了解市場(chǎng)和把握發(fā)展方向的重要手段，是輔助企業(yè)...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡