神經(jīng)網(wǎng)絡(luò)技術(shù)演變

• 曾理偉 2023年8月3日 來源：中研網(wǎng) 417 20
• 繁體

人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單基本元件—神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種

欲了解更多神經(jīng)網(wǎng)絡(luò)行業(yè)的未來發(fā)展前景，可以點擊查看中研普華產(chǎn)業(yè)院研究報告《2022年版5G通信技術(shù)背景下邊緣計算+AI發(fā)展趨勢及應(yīng)用專項研究報告》

人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單基本元件—神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運算、識別或過程控制。人工神經(jīng)網(wǎng)絡(luò)具有并行處理特征，可以大大提高工作速度。

1943年，心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計小組試制成功存儲程序式電子計算機，標(biāo)志著電子計算機時代的開始。

1948年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲程序式計算機的根本區(qū)別，提出了以簡單神經(jīng)元構(gòu)成的再生自動機網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲式計算機技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲式計算機技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。

50年代末，F(xiàn)·Rosenblatt設(shè)計制作了“感知機”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實踐。當(dāng)時，世界上許多實驗室仿效制作感知機，分別應(yīng)用于文字識別、聲音識別、聲納信號識別以及學(xué)習(xí)記憶問題的研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當(dāng)時數(shù)字計算機的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當(dāng)時的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異或這樣的基本問題，而且多層網(wǎng)絡(luò)還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。

另外，在60年代初期，Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。隨著人們對感知機興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長的時間。

80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平，完全付諸實用化，此外，數(shù)字計算機的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時機已經(jīng)成熟。美國的物理學(xué)家Hopfield于1982年和1984年在美國科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實性。隨即，一大批學(xué)者和研究人員圍繞著Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。

神經(jīng)網(wǎng)絡(luò)的云集成模式還不是很成熟，應(yīng)該有發(fā)展?jié)摿?，但神?jīng)網(wǎng)絡(luò)有自己的硬傷，不知道能夠達到怎樣的效果，所以決策支持系統(tǒng)中并不是很熱門，但是神經(jīng)網(wǎng)絡(luò)無視過程的優(yōu)點也是無可替代的，云網(wǎng)絡(luò)如果能夠?qū)ι窠?jīng)網(wǎng)絡(luò)提供一個互補的輔助決策以控制誤差的話，也許就能使神經(jīng)網(wǎng)絡(luò)成熟起來人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景自古以來，關(guān)于人類智能本源的奧秘，一直吸引著無數(shù)哲學(xué)家和自然科學(xué)家的研究熱情。

生物學(xué)家、神經(jīng)學(xué)家經(jīng)過長期不懈的努力，通過對人腦的觀察和認(rèn)識，認(rèn)為人腦的智能活動離不開腦的物質(zhì)基礎(chǔ)，包括它的實體結(jié)構(gòu)和其中所發(fā)生的各種生物、化學(xué)、電學(xué)作用，并因此建立了神經(jīng)元網(wǎng)絡(luò)理論和神經(jīng)系統(tǒng)結(jié)構(gòu)理論，而神經(jīng)元理論又是此后神經(jīng)傳導(dǎo)理論和大腦功能學(xué)說的基礎(chǔ)。在這些理論基礎(chǔ)之上，科學(xué)家們認(rèn)為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類智能活動和認(rèn)識現(xiàn)象。另一方面，19世紀(jì)之前，無論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學(xué)，還是以牛頓力學(xué)為代表的經(jīng)典物理學(xué)，從總體上說，這些經(jīng)典科學(xué)都是線性科學(xué)。然而，客觀世界是如此的紛繁復(fù)雜，非線性情況隨處可見，人腦神經(jīng)系統(tǒng)更是如此。復(fù)雜性和非線性是連接在一起的，因此，對非線性科學(xué)的研究也是我們認(rèn)識復(fù)雜系統(tǒng)的關(guān)鍵。為了更好地認(rèn)識客觀世界，我們必須對非線性科學(xué)進行研究。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運而生了。所以，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)立不是偶然的，而是20世紀(jì)初科學(xué)技術(shù)充分發(fā)展的產(chǎn)物。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究始于40年代初。半個世紀(jì)以來，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠為曲折的道路。1943年，心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts提出了M—P模型，這是第一個用數(shù)理語言描述腦的信息處理過程的模型，雖然神經(jīng)元的功能比較弱，但它為以后的研究工作提供了依據(jù)。

1949年，心理學(xué)家提出突觸聯(lián)系可變的假設(shè)，根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)律為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。1957年，計算機科學(xué)家Rosenblatt提出了著名的感知機模型，它的模型包含了現(xiàn)代計算機的一些原理，是第一個完整的人工神經(jīng)網(wǎng)絡(luò)，第一次把神經(jīng)網(wǎng)絡(luò)研究付諸工程實現(xiàn)。由于可應(yīng)用于模式識別，聯(lián)想記憶等方面，當(dāng)時有上百家實驗室投入此項研究，美國軍方甚至認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原子彈工程”更重要而給予巨額資助，并在聲納信號識別等領(lǐng)域取得一定成績。

1960年，B.Windrow和E.Hoff提出了自適應(yīng)線性單元，它可用于自適應(yīng)濾波、預(yù)測和模式識別。至此，人工神經(jīng)網(wǎng)絡(luò)的研究工作進入了第一個高潮。

1969年，美國著名人工智能學(xué)者M.Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機的能力有限，諸如不能解決異或問題，而且他們推測多層網(wǎng)絡(luò)的感知機能力也不過如此，他們的分析恰似一瓢冷水，很多學(xué)者感到前途渺茫而紛紛改行，原先參與研究的實驗室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡(luò)研究進入了一個緩慢發(fā)展的蕭條期。這期間，芬蘭學(xué)者T.Kohonen提出了自組織映射理論，反映了大腦神經(jīng)細(xì)胞的自組織特性、記憶方式以及神經(jīng)細(xì)胞興奮刺激的規(guī)律；美國學(xué)者S.A.Grossberg的自適應(yīng)共振理論（ART）；日本學(xué)者K.Fukushima提出了認(rèn)知機模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡(luò)有關(guān)數(shù)學(xué)理論的研究等，這些研究成果對以后的神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重要影響。美國生物物理學(xué)家J.J.Hopfield于1982年、1984年在美國科學(xué)院院刊發(fā)表的兩篇文章，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究，引起了研究神經(jīng)網(wǎng)絡(luò)的又一次熱潮。

1982年，他提出了一個新的神經(jīng)網(wǎng)絡(luò)模型——hopfield網(wǎng)絡(luò)模型。他在這種網(wǎng)絡(luò)模型的研究中，首次引入了網(wǎng)絡(luò)能量函數(shù)的概念，并給出了網(wǎng)絡(luò)穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡(luò)模型實現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡(luò)的工程實現(xiàn)指明了方向，他的研究成果開拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶的優(yōu)化計算的新途徑，并為神經(jīng)計算機研究奠定了基礎(chǔ)。

1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡(luò)中，提出了Boltzmann機網(wǎng)絡(luò)模型，BM網(wǎng)絡(luò)算法為神經(jīng)網(wǎng)絡(luò)優(yōu)化計算提供了一個有效的方法。

1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。

1987年美國神經(jīng)計算機專家R.Hecht—Nielsen提出了對向傳播神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有分類靈活，算法簡練的優(yōu)點，可用于模式分類、函數(shù)逼近、統(tǒng)計分析和數(shù)據(jù)壓縮等領(lǐng)域。

1988年L.Ochua等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型，它在視覺初級加工上得到了廣泛應(yīng)用。為適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會，并決定定期召開國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議。1988年1月NeuralNetwork創(chuàng)刊。1990年3月IEEETransactiononNeuralNetwork問世。

我國于1990年12月在北京召開了首屆神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會，并決定以后每年召開一次。1991年在南京成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會。IEEE與INNS聯(lián)合召開的IJCNN92已在北京召開。這些為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展起了推波助瀾的作用，人工神經(jīng)網(wǎng)絡(luò)步入了穩(wěn)步發(fā)展的時期。

90年代初，諾貝爾獎獲得者Edelman提出了Darwinism模型，建立了神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。同年，Aihara等在前人推導(dǎo)和實驗的基礎(chǔ)上，給出了一個混沌神經(jīng)元模型，該模型已成為一種經(jīng)典的混沌神經(jīng)網(wǎng)絡(luò)模型，該模型可用于聯(lián)想記憶。Wunsch在90OSA年會上提出了一種AnnualMeeting，用光電執(zhí)行ART，學(xué)習(xí)過程有自適應(yīng)濾波和推理功能，具有快速和穩(wěn)定的學(xué)習(xí)特點。

1991年，Hertz探討了神經(jīng)計算理論，對神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜性分析具有重要意義；Inoue等提出用耦合的混沌振蕩子作為某個神經(jīng)元，構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)模型，為它的廣泛應(yīng)用前景指明了道路。1992年，Holland用模擬生物進化的方式提出了遺傳算法，用來求解復(fù)雜優(yōu)化問題。

1993年方建安等采用遺傳算法學(xué)習(xí)，研究神經(jīng)網(wǎng)絡(luò)控制器獲得了一些結(jié)果。1994年Angeline等在前人進化策略理論的基礎(chǔ)上，提出一種進化算法來建立反饋神經(jīng)網(wǎng)絡(luò)，成功地應(yīng)用到模式識別，自動控制等方面；廖曉昕對細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論和方法，得到了一系列結(jié)果。HayashlY根據(jù)動物大腦中出現(xiàn)的振蕩現(xiàn)象，提出了振蕩神經(jīng)網(wǎng)絡(luò)。

1995年Mitra把人工神經(jīng)網(wǎng)絡(luò)與模糊邏輯理論、生物細(xì)胞學(xué)說以及概率論相結(jié)合提出了模糊神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)的研究取得了突破性進展。Jenkins等人研究光學(xué)神經(jīng)網(wǎng)絡(luò)，建立了光學(xué)二維并行互連與電子學(xué)混合的光學(xué)神經(jīng)網(wǎng)絡(luò)，它能避免網(wǎng)絡(luò)陷入局部最小值，并最后可達到或接近最理想的解；SoleRV等提出流體神經(jīng)網(wǎng)絡(luò)，用來研究昆蟲社會，機器人集體免疫系統(tǒng)，啟發(fā)人們用混沌理論分析社會大系統(tǒng)。

1996年，ShuaiJW’等模擬人腦的自發(fā)展行為，在討論混沌神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了自發(fā)展神經(jīng)網(wǎng)絡(luò)。1997、1998年董聰?shù)葎?chuàng)立和完善了廣義遺傳算法，解決了多層前向網(wǎng)絡(luò)的最簡拓樸構(gòu)造問題和全局最優(yōu)逼近問題。

2006年之后的進展人們用CMOS創(chuàng)造了用于生物物理模擬和神經(jīng)形態(tài)計算的計算設(shè)備。最新的研究顯示了用于大型主成分分析和卷積神經(jīng)網(wǎng)絡(luò)的納米設(shè)備具有良好的前景。如果成功的話，這會創(chuàng)造出一種新的神經(jīng)計算設(shè)備，因為它依賴于學(xué)習(xí)而不是編程，并且它從根本上就是模擬的而不是數(shù)字化的，雖然它的第一個實例可能是數(shù)字化的CMOS設(shè)備。

在2009到2012年之間，Jürgen Schmidhuber在Swiss AI LabIDSIA的研究小組研發(fā)的循環(huán)神經(jīng)網(wǎng)絡(luò)和深前饋神經(jīng)網(wǎng)絡(luò)贏得了8項關(guān)于模式識別和機器學(xué)習(xí)的國際比賽。例如，Alex Gravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項關(guān)于連筆字識別的比賽，而且之前并不知道關(guān)于將要學(xué)習(xí)的3種語言的信息。IDSIA的DanCiresan和同事根據(jù)這個方法編寫的基于GPU的實現(xiàn)贏得了多項模式識別的比賽，包括IJCNN2011交通標(biāo)志識別比賽等等。他們的神經(jīng)網(wǎng)絡(luò)也是第一個在重要的基準(zhǔn)測試中（例如IJCNN2012交通標(biāo)志識別和NYU的揚·勒丘恩（Yann LeCun）的MNIST手寫數(shù)字問題）能達到或超過人類水平的人工模式識別器。

類似1980年Kunihiko Fukushima發(fā)明的neocognitron和視覺標(biāo)準(zhǔn)結(jié)構(gòu)（由DavidH.Hubel和Torsten Wiesel在初級視皮層中發(fā)現(xiàn)的那些簡單而又復(fù)雜的細(xì)胞啟發(fā)）那樣有深度的、高度非線性的神經(jīng)結(jié)構(gòu)可以被多倫多大學(xué)杰弗里·辛頓實驗室的非監(jiān)督式學(xué)習(xí)方法所訓(xùn)練。

2012年，神經(jīng)網(wǎng)絡(luò)出現(xiàn)了快速的發(fā)展，主要原因在于計算技術(shù)的提高，使得很多復(fù)雜的運算變得成本低廉。以Alex Net為標(biāo)志，大量的深度網(wǎng)絡(luò)開始出現(xiàn)。

2014年出現(xiàn)了殘差神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)極大解放了神經(jīng)網(wǎng)絡(luò)的深度限制，出現(xiàn)了深度學(xué)習(xí)的概念。構(gòu)成典型的人工神經(jīng)網(wǎng)絡(luò)具有以下三個部分：1、結(jié)構(gòu)（Architecture）結(jié)構(gòu)指定了網(wǎng)絡(luò)中的變量和它們的拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重（weights）和神經(jīng)元的激勵值（activities of the neurons）。2、激勵函數(shù)（Activation Rule）大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學(xué)規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。3、學(xué)習(xí)規(guī)則（Learning Rule）學(xué)習(xí)規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學(xué)規(guī)則。一般情況下，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵值。它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。例如，用于手寫識別的一個神經(jīng)網(wǎng)絡(luò)，有一組輸入神經(jīng)元。輸入神經(jīng)元會被輸入圖像的數(shù)據(jù)所激發(fā)。在激勵值被加權(quán)并通過一個函數(shù)（由網(wǎng)絡(luò)的設(shè)計者確定）后，這些神經(jīng)元的激勵值被傳遞到其他神經(jīng)元。這個過程不斷重復(fù)，直到輸出神經(jīng)元被激發(fā)。最后，輸出神經(jīng)元的激勵值決定了識別出來的是哪個字母。

• 相關(guān)深度報告REPORTS

  

  2023-2028年生食行業(yè)市場深度分析及發(fā)展規(guī)劃咨詢綜合研究報告

  生食即刺生（魚蝦，海鮮，生牛肉），蔬果，谷類，不經(jīng)過烹飪直接生吃。生的食物保留毒素和營養(yǎng)，促進人體新陳代謝正?；?，除去各種廢棄物，幫助預(yù)防糖尿病、癌癥、肥胖、便秘等成人疾病，恢復(fù)并...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡