聯(lián)想記憶ppt課件(已修改)

　

【正文】 第五章 聯(lián)想記憶 簡(jiǎn)介 (1) ? 在大腦中可以找到聽(tīng)覺(jué) 、 視覺(jué) 、 與運(yùn)動(dòng)等相關(guān)之區(qū)域 ， 但找不到負(fù)責(zé)記憶的區(qū)域 。 ? 對(duì)於負(fù)責(zé)記憶的區(qū)域 ， 沒(méi)有一個(gè)完整且令人信服的理論可以說(shuō)明個(gè)中原理 。 ? 三種記憶的生理過(guò)程理論： (1) 訊息乃物理性地被紀(jì)錄在神經(jīng)元中 。 (2) 訊息以電訊方式被傳導(dǎo)與儲(chǔ)存 。 (3) 訊息改變了神經(jīng)元的結(jié)構(gòu) 。 簡(jiǎn)介 (2) ? 記憶可能是藉由神經(jīng)元間的聯(lián)接形態(tài)來(lái)儲(chǔ)存 ，而非透過(guò)單一神經(jīng)元本身的變化來(lái)紀(jì)錄 。 柏克萊大學(xué)的 Rosenzwieg 博士對(duì)於記憶所提出的理論 ─ 每當(dāng)一個(gè)人學(xué)到一件新的事物時(shí) ， 神經(jīng)元便改變它們的伸展範(fàn)圍 ， 使得訊息更容易透過(guò)相關(guān)的突觸 ， 而傳遞至相連接的神經(jīng)元 ， 新的聯(lián)結(jié)形成之後 ， 舊的便消失 ， 彼此消長(zhǎng)之間 ，便形成所謂的記憶 。 ? 史丹福大學(xué)的卡爾 、 帕瑞巴博士提出所謂的 “ 全圖像理論 (hologram)” ─ 所有的記憶都被儲(chǔ)存在大腦的所有區(qū)域中 ， 而任何一段片段便能夠使整體的記憶再現(xiàn) 。 摘自：大腦的秘密檔案 洪蘭 譯 簡(jiǎn)介 (3) ? 人類的記憶 ， 根據(jù)儲(chǔ)存的期間長(zhǎng)短又分為三種： (1) 立即計(jì)憶 (immediate memory) ； (2) 短程記憶 (shortterm memory) ； (3) 長(zhǎng)程記憶 (longterm memory) 。 簡(jiǎn)介 (4) ? 立即計(jì)憶 (immediate memory): (1) 功能 : 使我們注意到淺在之變化，以進(jìn)行連續(xù)性之活動(dòng)。 (2) 容量 : 數(shù)以千計(jì)，總體印象。 (3) 時(shí)間 : 兩秒或更短。 簡(jiǎn)介 (5) ? 短程記憶 (shortterm memory)： (1) 功能 : 使我們把東西連接在一起，創(chuàng)造情境並指定意義。 (2) 容量 : 七件事。 (3) 時(shí)間 : 三十秒到兩天。 簡(jiǎn)單實(shí)驗(yàn) (1) E P G L A K S 簡(jiǎn)單實(shí)驗(yàn) (2) L O D T M X H R U 簡(jiǎn)單實(shí)驗(yàn) (3) 8 D W O S U N Z H 簡(jiǎn)單實(shí)驗(yàn) (4) J 9 D T H X Q 簡(jiǎn)介 (6) ? 長(zhǎng)程記憶 (longtermmemory): (1) 功能 : 使我們記住事件 (情節(jié)式型態(tài) episodic)及知識(shí) (語(yǔ)意式型態(tài) semantic)。 (2) 容量 : 無(wú)限。 (3) 時(shí)間 : 永久。 簡(jiǎn)介 (7) ? 海馬體受損會(huì)影響記憶。 ? 內(nèi)視丘負(fù)責(zé)記憶類型的最初統(tǒng)合。 ? 長(zhǎng)期記憶是隨著前突觸末端的增加而出現(xiàn)，也與新關(guān)聯(lián)的建立有關(guān)。 ? 改善記性的方法： (1) 利用聯(lián)想 (2) 置身於同樣情境 (3) 喝牛奶 簡(jiǎn)介 (8) ? 有關(guān)記憶的三個(gè)重要?dú)v程為： 登錄 (registration)： 從各種外界的刺激中挑選出感興趣的訊息 。 保留 (retention)： 將所注意到的訊息 ， 從短程記憶的強(qiáng)記 ， 轉(zhuǎn)化成久儲(chǔ)存的長(zhǎng)程記憶 。 提取 (retrieve)： 如何從大腦中提取所儲(chǔ)存的資訊 ， 主要是靠所謂的 “ 聯(lián)想 (associations)” 。 ? 從 1950 年代開(kāi)始 ， 就有許許多多的學(xué)者專家 ， 投注大量心血 ， 希望能用類神經(jīng)網(wǎng)路的模式來(lái)模擬聯(lián)想記憶 ，實(shí)現(xiàn)的方式可分為線性與非線性兩種 。 線性聯(lián)想記憶 (1) ? 假設(shè)有一組輸入 /輸出對(duì)， ， xi 與 yi 的維度分別為 p 和 r。我們的目標(biāo)是想將這 N 個(gè)輸入 /輸出對(duì)，用聯(lián)想記憶的方式予以儲(chǔ)存起來(lái)，也就是說(shuō)，當(dāng)輸入為 xi或是加了一些雜訊的 xi+ni ( 代表雜訊 )，輸出會(huì)是 yi 。 ? 一、網(wǎng)路學(xué)習(xí) ? 二、網(wǎng)路回想 Niyx ii ,1),( ??kjkijiji yxkwkw ???? )()1(??????????????NkTkkprrpxywwwwW1,1,11,1?????kxWy ?圖 。 線性聯(lián)想記憶 (2) ? 如果輸入 彼此之間為正規(guī)化正交 (orthonormal)，即 ? 假設(shè)現(xiàn)在的輸入為 xk，則網(wǎng)路的輸出為： ? 假設(shè) xk 只是長(zhǎng)度為 1 的單位向量，那麼網(wǎng)路輸出可重寫(xiě)為： 其中 ?k 是所謂的 “雜訊向量 (noise vector)” 或稱為 “交互影響 (crosstalk)”。 ? 如果鍵結(jié)值矩陣是由下式計(jì)算而得的，那麼這些雜訊向量 ?k 會(huì)降到最小： 其中 ， 以及 X+ 稱為 的虛擬反矩陣。 ??????jijixxjTi 若若01kki kTiikTkkk yxxyxxyxWy ?????? ??kkki kTiikTkk yxxyxxyy ??????? ??1)( ?? ?? TT XXYXYXW],[ 1 NyyY ?? ],[ 1 NxxX ??範(fàn)例 ：聯(lián)想記憶 (1) ? 假設(shè)我們想要儲(chǔ)存以下三個(gè)輸入 /輸出對(duì)： ? 經(jīng)由前述之公式可知 ? 如果網(wǎng)路現(xiàn)在的輸入是 ，那麼網(wǎng)路的輸出為 ),(),(),( 332211 yxyxyxTTT xxx )1,0,0(,)0,1,0(,)0,0,1( 321 ???TTT yyy )2,1,3(,)3,2,1(,)2,1,2( 321 ???? ? ? ? ? ?100213010321001212332211???????????????????????????????????? TTT xyxyxyW22321010232121312yxWy ???????????????????????????????????)0,1,0(2 ?x Hopfield 網(wǎng)路 (1) ? 如果輸入及輸出向量都是由二元值 （ 0與 1） 或雙極值（ 1與 1） 所構(gòu)成的向量 ， 那麼式 () 的輸出雜訊向量可以藉助下述的非線性轉(zhuǎn)換技術(shù)達(dá)到抑制雜訊的效果： (1) 將輸出取閥值 (thresholding) 以及 (2) 將取閥值後的輸出 ， 轉(zhuǎn)輸入回網(wǎng)路 ， 然後重覆這兩 項(xiàng)步驟直到收斂為止 。 ? 這種有回授的類神經(jīng)網(wǎng)路被稱為 “ 循環(huán)類神經(jīng)網(wǎng)路 (recurrent neural works)”， 而離散的 Hopfield 網(wǎng)路 (discrete Hopfield works) 便是此種網(wǎng)路的代表 。 Hopfield 網(wǎng)路 (2) 一、網(wǎng)路學(xué)習(xí) :假設(shè)有 N 筆輸入向量 要用自聯(lián)想的方式儲(chǔ)存至離散 Hopfield 網(wǎng)路上 ? 或者 Nixxx Tipii ,1,],[ 1 ?? ????? Nk kjkiji xxpw 11IpNxxpwwwwWNkTkkpppp??????????????? 111111?????pjj ,1,0 ????piwpi jij ,1,1 ??? ???圖 ：離散的 Hopfield 網(wǎng)路。 Hopfield 網(wǎng)路 (3) 二 、 網(wǎng)路回想 ? 假若此時(shí)有一輸入 x 進(jìn)入此網(wǎng)路 ， 我們將此時(shí)的輸入視做網(wǎng)路的初始輸出 x (0)， 緊接著 ， 每個(gè)類神經(jīng)元的後續(xù)輸出是由下式計(jì)算 ? 離散 Hopfield 網(wǎng)路是用非同步 (asynchronization) 的方式來(lái)變更類神經(jīng)元的輸出 ， 整個(gè)聯(lián)想過(guò)程可以用下列之鏈狀關(guān)係來(lái)描述： ? 如果我們用同步 (synchronization) 的方式來(lái)變更網(wǎng)路輸出 ， 結(jié)果會(huì)有些不同 ??????????????? ??jjjjjjjjjpijijijnununxnununxwnx?????)(1)()()(1))(s g n ())(s g n ()1(1若若若?? ??????? )1()()2()1()0( kxkxxxx範(fàn)例 ：聯(lián)想記憶中的記憶提取 ? 假設(shè)我們要儲(chǔ)存下列兩筆資料：