近日，北京大學(xué)集成電路學(xué)院、人工智能研究院，集成電路高精尖創(chuàng)新中心研究團隊在Nature Communication雜志上在線發(fā)表了題為“An emergent attractor network in a passive resistive switching circuit”的研究論文。該工作首次揭示了無源憶阻器電路為一個循環(huán)神經(jīng)網(wǎng)絡(luò)，是多個憶阻器件相互作用的涌現(xiàn)結(jié)果。研究團隊構(gòu)建了相應(yīng)的吸引子網(wǎng)絡(luò)模型和能量函數(shù)，并完成了實驗證明和聯(lián)想記憶應(yīng)用的演示，通過理論和實驗兩個層面深入分析了憶阻器吸引子網(wǎng)絡(luò)相比經(jīng)典Hopfield網(wǎng)絡(luò)在存儲容量、硬件實現(xiàn)和性能等多方面的優(yōu)勢。

憶阻器（或稱電阻式存儲器件）具有豐富的動力學(xué)特性，利用它的阻變動力學(xué)或簡單的可編程電導(dǎo)屬性可實現(xiàn)狀態(tài)邏輯、時間信息處理和模擬矩陣計算等功能。得益于器件非易失性和交叉陣列架構(gòu)，它常被用來加速許多算法中的矩陣向量乘法(MVM)，特別是神經(jīng)網(wǎng)絡(luò)方面的研究最受關(guān)注。吸引子網(wǎng)絡(luò)是一種使用交互式反饋的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)模型，其中Hopfield 網(wǎng)絡(luò)是典型的代表，它與生物神經(jīng)回路和記憶機制有很強的聯(lián)系，并在聯(lián)想記憶和組合優(yōu)化中得到應(yīng)用。

目前，已有一系列基于憶阻器陣列實現(xiàn)的Hopfield 網(wǎng)絡(luò)硬件研究。在這些工作中，器件僅被用作靜態(tài)的可編程電阻，模仿高度簡化的突觸，神經(jīng)元則通常由傳統(tǒng)的放大器電路實現(xiàn)，具有低的面積、時間和能量效率。此外，由于該架構(gòu)僅執(zhí)行MVM操作，算法迭代是離散進行的，這會導(dǎo)致額外的時延，特別是模擬計算的離散迭代需要模數(shù)轉(zhuǎn)換接口，進一步限制了計算效率。

研究團隊基于憶阻器自身的閾值、循環(huán)、非易失阻變特性，首次證明了由一列雙極性憶阻器組成的電路本質(zhì)上是一個吸引子網(wǎng)絡(luò)。其中，憶阻器是一種特殊的人工神經(jīng)元，它的非線性激活函數(shù)為雙向回滯型，不同于常見的非線性函數(shù)，外部施加的電壓定義了一個反對稱權(quán)重矩陣，器件之間的相互作用實現(xiàn)網(wǎng)絡(luò)的遞歸。這樣的概念還可以擴展到其它器件種類，如單極性或閾值阻變器件，從而用于開發(fā)新的吸引子網(wǎng)絡(luò)模型和硬件解決方案。

研究團隊進行了相應(yīng)的實驗驗證和聯(lián)想記憶應(yīng)用的演示。在經(jīng)典Hopfield網(wǎng)絡(luò)模型中，吸引子的存儲容量非常有限，僅隨神經(jīng)元數(shù)量線性增加，因此網(wǎng)絡(luò)只能同時記憶少量的狀態(tài)。盡管可以通過使用不同的非線性激活函數(shù)或提供不同的權(quán)重配置來增加存儲容量，但它們僅在算法層次驗證，缺少硬件實現(xiàn)。相比之下，憶阻器是雙向的非易失性神經(jīng)元，它可以在電路中存儲更多的穩(wěn)定狀態(tài)，大大提升了聯(lián)想記憶的存儲容量。最后，研究團隊分析了憶阻器網(wǎng)絡(luò)的概率模型。網(wǎng)絡(luò)能量依賴于憶阻器的阻變閾值電壓和高低電導(dǎo)態(tài)的電導(dǎo)值，它們固有的概率分布屬性，使得網(wǎng)絡(luò)能量和狀態(tài)同樣服從概率分布，形成類似于玻爾茲曼機的網(wǎng)絡(luò)。

論文的第一作者是北京大學(xué)集成電路學(xué)院、人工智能研究院2023級博士研究生李永祥，通訊作者是北京大學(xué)孫仲研究員，共同作者包括北京大學(xué)博士研究生王識清、楊可（已畢業(yè)）和楊玉超教授。這項研究工作獲得國家重點研發(fā)計劃、國家自然科學(xué)基金、北京市自然科學(xué)基金、111計劃、集成電路高精尖創(chuàng)新中心等項目支持。

封面圖片來源：拍信網(wǎng)