CoNNear是具有卷積和跳過連接的全卷積編碼器-解碼器NN 可將音頻輸入映射到時域中不同耳蝸部分（N CF）的201 BM振動輸出。

a b 具有（a）和不具有（b）上下文的CoNNear體系結構。最終的CoNNear模型具有四個編碼器和解碼器層 使用上下文 并且在CNN層之間包括tanh激活功能。c 模型訓練和評估程序的概述。作為參考 對語音語料庫的分析性TL模型仿真用于訓練CoNNear參數 而模型的評估是使用耳蝸力學研究中普遍采用的簡單聲學刺激進行的。

將卷積神經網絡與計算神經科學相結合 創建了一個模擬人類耳蝸力學的模型。在過去的幾十年中 語音和語音識別技術取得了長足的進步。例如 通常由基于電話的代理為客戶提供服務。而且 智能手機上的語音識別和響應系統已經無處不在。但是它們都具有一個共同點 那就是盡管它們看起來很像 但它們都不是實時操作的。每個都基于處理所聽到內容的硬件和軟件。在這項新的工作中 研究人員建議當前設備的問題在于必須完成的計算所涉及的復雜性。

為了解決這個問題 他們創建了一個模擬人類聽力的模型 該模型基于將卷積神經網絡的最佳功能與計算神經科學融合在一起。人類的聽力來自耳朵的各個部位。聲音進入耳道并撞擊鼓膜。耳膜響應振動 將信號發送到內耳的骨骼 從而在耳蝸內的液體中產生波紋。那種液體攪動著耳蝸內的毛細胞。毛細胞的運動會刺激離子通道 進而產生發送到腦干的信號。

研究人員創建了一個AI系統 該系統被教給識別聲音 然后以類似的方式對其進行解碼。然后 他們將系統連接到基于人體解剖學的模型。他們將他們的系統命名為CoNNear-耳蝸的工作模型。測試表明 該系統能夠將20 kHz采樣的聲波波形實時轉換為耳蝸基底膜波形 大大超越了最先進的傳統系統。CoNNear的耳蝸功能比目前的助聽器技術快2000倍。研究人員認為 他們的發現可能為新一代類人聽力或增強的聽力和語音識別設備奠定基矗。責任編輯：YYX