基于模式的語(yǔ)義信息抽取及應(yīng)用研究畢業(yè)論文-資料下載頁(yè)

【導(dǎo)讀】我首先要感謝我的導(dǎo)師孫義教授。在本人讀研期間，孫老師無(wú)論在學(xué)習(xí)還是。在生活上，都給予了無(wú)微不至的關(guān)心。在整個(gè)畢業(yè)論文完成過程中，孫老師定期。會(huì)到了老師崇高的人格魅力。師和劉老師對(duì)我的鼓勵(lì)和肯定。張老師積極的人生態(tài)度和拼搏精神，對(duì)我們產(chǎn)生。深遠(yuǎn)影響，同時(shí)感謝張老師為我們提供的良好的工作和學(xué)習(xí)環(huán)境。感謝在這近三年時(shí)間里給予我知識(shí)的老師們，正是由于他們的辛勤施教，使我學(xué)到了許多寶貴的知識(shí)，能夠順利完成學(xué)業(yè)。真誠(chéng)感謝我的父母、姐姐和朋友們。在他們的鼓勵(lì)下，我勇敢前進(jìn)，克服很。他們的關(guān)心與幫助是我學(xué)習(xí)和生活最大力量來源。意和衷心的感謝。面對(duì)海量文本形式的醫(yī)案，目前普遍采用手工填寫結(jié)。病案信息，從而為挖掘名老中醫(yī)的臨床經(jīng)驗(yàn)和診療思路打下基礎(chǔ)。實(shí)現(xiàn)了利用機(jī)器學(xué)習(xí)方法自動(dòng)獲取模式，利用模式識(shí)別文本中的人名、地名、時(shí)間以及實(shí)體間關(guān)系信息。個(gè)方法以供用戶使用，能夠很好的實(shí)現(xiàn)對(duì)中醫(yī)醫(yī)案信息的抽取。

　　

【正文】 相關(guān)度的計(jì)算依賴于其所出現(xiàn)在的文檔的相關(guān)度，即i 1 i( p )( p ) (1 / H ( p ) ) * R e l ( d )dhs c o r e ? ?? ?，其中， Rel’ (d)是第 i次循環(huán)時(shí)文檔 d 的相關(guān)度。 3)將領(lǐng)域相關(guān)度最高的模式加到模式集合 P 中。 4)根據(jù)新生成的模式集合 P，對(duì)每個(gè)文檔重新進(jìn)行領(lǐng)域相關(guān)度計(jì)算。 5)轉(zhuǎn) 1)，直到不再生成新的模式或某種循環(huán)條件達(dá)到為止。 基于規(guī)則的信息抽取技術(shù)的研究及其在中醫(yī)醫(yī)案文獻(xiàn)中的應(yīng)用 10 圖 2. 7TIMES 中的模式 例子 R1 中含有三個(gè)括號(hào)表示為子條件句， R1 的含義是：若語(yǔ)句滿足條件（ 1）X1 是 pany_type 語(yǔ)義類，同時(shí)是 NG語(yǔ)法類型（ 2） X2 的中心詞為 need，同時(shí)是 NG 語(yǔ)法類型（ 3） X3 的中心詞為 speeialist，同時(shí)是 NG 語(yǔ)法類型，則 X1作為事件的 COMPANY 角色。 R2 中含有三個(gè)括號(hào)表示為子條件句， R2 的含義是：若語(yǔ)句滿足條件（ 1）X1 是 pany_type 語(yǔ)義類，同時(shí)是 NG語(yǔ)法類型（ 2） X2 的中心詞為 need，同時(shí)是 NG 語(yǔ)法類型（ 3） X3 的中心詞為 speeialist，同時(shí)是 NG 語(yǔ)法類型，則 X3作為事件的 POSITOIN 角色。 TIMES 的 IE 模式學(xué)習(xí)流程 ，步驟如下圖所示： 圖 2. 8 TIMES 的 IE 模式學(xué)習(xí)流程 舉例說明 TIMES 進(jìn)行 IE 模式學(xué)習(xí)的基本流程 0）假設(shè)信息抽取任務(wù)為：從工作信息文本中抽取出公司、職位和職位的地理位置這 三個(gè)目標(biāo)信息。 l)設(shè)人工給出的事件語(yǔ)句為 “ The National Technology Group has a need for qualified Inventory Specialists to work at an RTP client site for one month.” R1:Match(X1,pany_type,NG)^Match(X2,need,NG)^Match(X3,specialist,NG) → FS(X1,COMPANY) R2:Match(X1,pany_type,NG)^Match(X2,need,NG)^Match(X3,specialist,NG) → FS(X3,POSITION) 1)用戶通過 GUI 選擇一個(gè)含有事件描述的 語(yǔ)句。 2)系統(tǒng)對(duì)該語(yǔ)句進(jìn)行分詞、詞性標(biāo)注、命名實(shí)體識(shí)別和部分句法分析，并以每個(gè)短語(yǔ)最后的一個(gè)詞作為短語(yǔ)的中心詞。 3)用戶指示系統(tǒng)將相關(guān)的名詞短語(yǔ)與其所能充當(dāng)?shù)氖录巧P(guān)聯(lián)起來。 4)用戶對(duì)某些有歧義的中心詞進(jìn)行詞義消岐。 5)系統(tǒng)記下用戶的相關(guān)操作并形成相應(yīng)的特例模式。 6)系統(tǒng)從語(yǔ)法和語(yǔ)義兩個(gè)方面對(duì)形成的特例模式進(jìn)行泛化，形成一個(gè)泛化模式。 北京科技大學(xué)碩士學(xué)位論文 11 2)對(duì)該語(yǔ)句進(jìn)行分詞、標(biāo)注、命名實(shí)體識(shí)別和句法分析后，得到的內(nèi)部結(jié)構(gòu)如下圖所示： Important phrases Target Semantic type headwor Syntactic category sense The Natianal Technology Group COMPANY Companr_type pant NG 1 Has None None has VG 1 A need None None need NG 1 For None None for PG 1 Qualified inventory Specialists POSTITION None specialist NG 1 at None None at PG 1 An RTP client site LOCATION None site NG 1 圖 2. 9 一個(gè)語(yǔ)句經(jīng)過相應(yīng)的 NLP 步驟處理后所得到的內(nèi)部結(jié)構(gòu) 對(duì)圖 的解釋 :該表 共有七列，第一列 “ Important phrases”列出了 句子分詞后的結(jié)果。 第二列“ Target”表示出事件的重要角色，是第一列詞組充當(dāng)?shù)哪繕?biāo)類型，若不能充當(dāng) IE目標(biāo)值為 None。第三列“ Semantic type” 列出了左邊短語(yǔ)的語(yǔ)義類型。第四列“ headword”列出了左邊的短語(yǔ)的中心詞，規(guī)定短語(yǔ)的最后一個(gè)詞為中心詞。 第五列“ Syntactic category” 顯示左邊短語(yǔ) 的語(yǔ)法類型。第六列“ sense” 列出了中心詞的概念序號(hào)。 3） 形成的特例模式如下： 圖 2. 10 TIMES 形成的特例模式 4） 人工去除特例模式的無(wú)關(guān)信息，得到泛化模式 5） 對(duì)得到的泛化模式，進(jìn)行語(yǔ)義泛化 S(X1， {pany}， NG)∧ S(X2， {has}， VG)∧ S(X3， {need}， NG)∧ S(X4， {for}， PG)∧ S(X5， {Speeialist}， NG)∧ S(X6， {at}， PG)∧S(X7， {site}， NG) → FS(X1， COMPANY)， FS(X6， POSITION)， FS(X7， LOCATION) 基于規(guī)則的信息抽取技術(shù)的研究及其在中醫(yī)醫(yī)案文獻(xiàn)中的應(yīng)用 12 本章小結(jié) 本章綜述了各類 IE 模式學(xué)習(xí) 系統(tǒng)。 基于語(yǔ)料標(biāo)注的 IE 模式學(xué)習(xí)系統(tǒng) 、基于語(yǔ)料分類的 IE模式學(xué)習(xí)系統(tǒng)和和基于 自舉 的 IE 模式學(xué)習(xí)系統(tǒng) ，這三個(gè)階段系統(tǒng)的發(fā)展使得對(duì)用戶輔助工作 要求越來越少，但 基于人工建立的 概念層次知識(shí) 庫(kù)是必不可少的。在領(lǐng)域無(wú)關(guān)的知識(shí)庫(kù) WordNet 支持下， TIMES 有了新的進(jìn)展 ，不過 TIMES 依舊需要人工提供案例語(yǔ)句并指導(dǎo)生成相應(yīng)的 IE 模式 ，還需要人工或相應(yīng)的規(guī)則對(duì)有歧義的詞進(jìn)行單獨(dú)的詞義消岐。 試想，能否設(shè)計(jì)一種 IE 模式學(xué)習(xí)方法，只需人工定義 IE任務(wù)，不需要人工提供種子模式、人工進(jìn)行語(yǔ)料分類、人工進(jìn)行語(yǔ)料標(biāo)注，就能夠?qū)崿F(xiàn)自動(dòng)學(xué)出相應(yīng)的 IE 模式。這樣的方法會(huì)在很大程度上減輕用戶的輔助工作量。 本文在借鑒已有的面向英文文本的信息抽取系統(tǒng)的成功經(jīng)驗(yàn)， 提出一種基于聚類的信息抽取模式自動(dòng)生成方法， 相關(guān)內(nèi)容 將在第 四章 做 詳細(xì)介紹。 北京科技大學(xué)碩士學(xué)位論文 13 3 中醫(yī)醫(yī)案特征分析 中醫(yī)醫(yī)案是醫(yī)務(wù)人員對(duì)病人患病經(jīng)過和治療情況所作的文字記錄，是醫(yī)生診斷和治療疾病的依據(jù) ,也是醫(yī)學(xué)科學(xué)研究中很有價(jià)值的資料。病案中包含著豐富的病證、用藥等相關(guān)知識(shí)，是醫(yī)生診斷和治療疾病的依據(jù)，是醫(yī)學(xué)科學(xué)研究中很有價(jià)值的資料。中醫(yī)學(xué)經(jīng)過幾千年的發(fā)展，積累了大量的優(yōu)秀病案，形成了一筆寶貴的財(cái)富。因此，如何有效的利用這些資源，成為一個(gè)亟待解決的重要問題。 為了能有效的利用這些病案資源，本章首先通過對(duì)大量醫(yī)案進(jìn)行了研究，歸納總結(jié)了中醫(yī)醫(yī)案在結(jié)構(gòu)和內(nèi)容上的特征；然后分析了對(duì)病案信息進(jìn)行 抽取研究的基礎(chǔ)、前提及存在的問題；最后針對(duì)病案的特征以及目前存在的問題，概括了針對(duì)病案信息的不同特征采取的相應(yīng)抽取策略。 中醫(yī)醫(yī)案特征分析 中醫(yī)醫(yī)案結(jié)構(gòu)特征分析 計(jì)算機(jī)技術(shù)與互聯(lián)網(wǎng)技術(shù)突飛猛進(jìn)的發(fā)展，改變了人們的生活。在信息時(shí)代，利用計(jì)算機(jī)技術(shù)從海量信息中發(fā)現(xiàn)知識(shí) 是目前 最主要的需求。信息的識(shí)別是信息挖掘的前提 ， 比如病人姓名、病人出初時(shí)間、方藥信息，基本癥狀信息等。 通常采用結(jié)構(gòu)化醫(yī)案模板來實(shí)現(xiàn)病案信息的采集，這樣的方式不僅需要精通領(lǐng)域知識(shí)的專家，而且需要花費(fèi)大量人力和物力。信息抽取技術(shù)的出現(xiàn)有效 地 處理 了 該難題 。 為了能利用計(jì)算機(jī)技術(shù)自動(dòng)抽取這些信息，首先需要對(duì)病案的結(jié)構(gòu)和特征有充足的認(rèn)識(shí)。下面首先以一份有代表性的肝病病案為例，分析中醫(yī)病案的結(jié)構(gòu)及特征。 基于規(guī)則的信息抽取技術(shù)的研究及其在中醫(yī)醫(yī)案文獻(xiàn)中的應(yīng)用 14 圖 3. 1 一份典型的中醫(yī)肝病病案 圖 是一份典型的中醫(yī)肝病病案，通過對(duì)大量病案的分析總結(jié)，得出中醫(yī)病案信息在結(jié)構(gòu)上具有如下特征： 一份醫(yī)案按照內(nèi)容可以劃分為幾類信息 ,它們是病人基本信息、主訴、診查、辯證、治則、處方和按語(yǔ) 等 。通常每個(gè)段落對(duì)應(yīng)一部分信息，我 們把這稱為段落主題。 每類信息中又包含子信息，例如 病人基本信息中 又 包含姓名、年齡、出診時(shí)間和職業(yè)。 一份醫(yī)案的幾種類型信息在文本中特定的位置存在，它們由上到下分布。這些信息并不需要都出現(xiàn)在一分醫(yī)案中。例如家族史、西醫(yī)檢查等信息可以不出現(xiàn)。 李某，女， 30 歲，教師。 初診時(shí)間： 1974 年 4 月 8 日。 主訴：醫(yī)院精神補(bǔ)腹安膨隆教師，四年前患肝炎，經(jīng)縣醫(yī)院治愈。但稍老則右脅隱痛，食欲欠佳。去年夏天因過食冷食，腹痛腹瀉，日瀉 10 余次，為稀水樣便，伴惡心嘔吐，經(jīng)本地保健員按“胃腸炎”治療好轉(zhuǎn)。 診查：腹膨隆，左少腹劇烈壓痛三天，皮蒼黃，青筋微露，雙下肢凹陷性浮腫，頸胸部有少許散在蜘蛛痣，肝腫大脅下 6 厘米，脾腫大脅下 14 厘米，精神不振，言語(yǔ)低微，面容暗黃，時(shí)感惡心、嘔吐。苔白膩，質(zhì)淡紅稍胖，脈弦緩。 辨證：肝脾失調(diào)，濕阻血瘀。為臌脹（晚期肝硬化合并脾機(jī)能亢進(jìn)）。 治則：調(diào)理肝脾，利濕化瘀。 處方：當(dāng)歸 12 g，白芍 15 g，白術(shù) 10 g，云苓 20 g，柴胡 6 g，香附 9 g，郁金 9 g，青皮 9 g，腹皮 12 g，丹皮 9 g，元胡 9 g，山甲9 g，鱉甲 15 g，丹參 15 g，牡蠣 15 g，甘草 3 g。 上方藥服六劑，腹脹搭建，飲食轉(zhuǎn)佳，小便自如。唯脾腫大不減，湯劑中加元胡 9 克，桃仁 9 克；配服鱉甲煎丸，每次 60 丸（小水丸），日服 3 次。 按語(yǔ)：本案先因慢性肝炎而致右脅隱痛、飲食欠佳；復(fù)傷于冷食，脾胃受損，泄瀉不已，久則脾不運(yùn)化，濕濁停聚，進(jìn)一步阻滯氣機(jī)。 北京科技大學(xué)碩士學(xué)位論文 15 段落主題位于每個(gè)段的段首，例如圖 中的“處方”“按語(yǔ)”。 不過也可以沒有段落主題，例如圖 中的病人基本信息。 特征 1 表明了醫(yī)案的內(nèi)容是嵌套形式的，不同內(nèi)容下又包含具體信息，可以將這些信息組織到一顆樹中。特征 特征 3 表明病案的結(jié)構(gòu)具有主題特征，信息前具有標(biāo)題表 示其主題，主題有固定詞語(yǔ)表示。 中醫(yī)醫(yī)案內(nèi)容特征分析 通過分析研究大量的中醫(yī)醫(yī)案，同時(shí)學(xué)習(xí)中醫(yī)學(xué)基礎(chǔ)原理，我們總結(jié)中醫(yī)醫(yī)案在內(nèi)容和表達(dá)方式下存在如下特征： 通過對(duì)大量中醫(yī)病案的分析及中醫(yī)學(xué)發(fā)展歷史的研究，中醫(yī)病案在內(nèi)容和表達(dá)方式上具有如下特征： 句法簡(jiǎn)單：在中醫(yī)病案中，通常以 句式簡(jiǎn)單的 陳述句式為主，幾乎不會(huì)出 現(xiàn)具有二義性的語(yǔ)句。這為自然語(yǔ)言處理和信息抽取提供了較好的先決條件。 口語(yǔ)特性：中醫(yī)病案一般是 根據(jù)醫(yī)生的語(yǔ)言習(xí)慣對(duì)各項(xiàng)信息進(jìn)行描述，格式上 并 沒有 做出 嚴(yán)格 具體 的要求， 表達(dá)方式靈活多樣。另外， 經(jīng)常出 現(xiàn)一些 縮寫詞， 以簡(jiǎn)化書寫過程。 例 如 將泌尿道感染稱為泌感、將高血壓性心臟病稱為高心病 ， 將急性支氣管炎稱為急支 。 中藥名如生龍牡（生龍骨．生牡蠣）、二冬（麥門冬，天冬門）、二地（生地，熟地）等。 時(shí)序性：中醫(yī)醫(yī)案一般由 初診、二診等多診信息 組成 ， 記錄了整個(gè)診療過程中病人病情的發(fā)展變化。這一特征為 明顯的時(shí)序特性。 概念不統(tǒng)一 ： 一個(gè)概念可以有多種名稱來表示 ，存在這種現(xiàn)象主要因 為中醫(yī)中的醫(yī)學(xué)概念名稱 缺乏一個(gè)統(tǒng)一的規(guī)范命名系統(tǒng)，致使 一個(gè)概念 有多種名稱來表示。比如：癆瘵、勞嗽、急癆、傳尸等均表示肺癆這種病。 中醫(yī)領(lǐng)域 本身的特點(diǎn) 中醫(yī)醫(yī)案作為記錄醫(yī)生臨床治療過程的方法和手段，在中醫(yī)領(lǐng)域，其具有一些特定的特點(diǎn)， 分為以下幾個(gè)方面： 半文言特性：中醫(yī)學(xué)的形成與發(fā)展已有數(shù)千年的歷史，是中華民族在長(zhǎng)期的生活、生產(chǎn)及醫(yī)療實(shí)踐中的經(jīng)驗(yàn)總結(jié)，因此與中國(guó)古代文化互相交融滲透。在中醫(yī)學(xué)的發(fā)展中，一些早期著作中的大量表述被長(zhǎng)期沿用并逐漸術(shù)語(yǔ)化，以至于在當(dāng)今的醫(yī)案中仍大量存在，比如“陰虛津虧、風(fēng)熱疫毒”等，使得中醫(yī)醫(yī)案具有明顯的半文言特性。 基于規(guī)則的信息抽取技術(shù)的研究及其在中醫(yī)醫(yī)案文獻(xiàn)中的應(yīng)用 16 具有 自然語(yǔ)言與醫(yī)學(xué)雙重特性：中醫(yī)學(xué) 作為醫(yī)學(xué)的一門學(xué)科，具有醫(yī)學(xué)自身的特征。另外，由于中醫(yī)學(xué)的研究與知識(shí)的 積累等的載體都是中文自然語(yǔ)言而非人工語(yǔ)言，因此對(duì)中醫(yī)學(xué)的研究必然要受到所使用語(yǔ)言載體的限制。 模糊性，量化困難：由于中醫(yī)學(xué)整體論治的特點(diǎn)，使得中醫(yī)理論與實(shí)踐有模糊性的一面，治病主要憑經(jīng)驗(yàn)，證的輕重程度還未能得到科學(xué)的量化，所有這些問題都必須在宏觀上、整體上加以解決。 知識(shí)關(guān)系復(fù)雜： 中醫(yī)學(xué)發(fā)展 延伸 了幾千年，中醫(yī)理論知識(shí)龐大且豐富 。 陰陽(yáng)五行理論、經(jīng)絡(luò)理論 、氣血等學(xué)說匯聚一體， 形成了龐大且復(fù)雜的中醫(yī)理論體系結(jié)構(gòu) ，同時(shí)還衍生出許多相關(guān)學(xué)科，致使中醫(yī)學(xué)概念之間復(fù)雜，知識(shí)表示困難。 目前自然語(yǔ)言處理只能處理一般的文本。 而上述的幾個(gè)方面表示了中醫(yī)醫(yī)案具有其特定的領(lǐng)域特點(diǎn)。這樣導(dǎo)致了對(duì)中醫(yī)醫(yī)案文本處理存在諸多困難。 中醫(yī)醫(yī)案語(yǔ)義 信息抽取 的 研究基礎(chǔ)及存在的問題 我們知道，漢語(yǔ)是以字為基本的書寫單位，與此同時(shí)與英語(yǔ)不同的是，詞語(yǔ)之間沒有明顯的區(qū)分標(biāo)記。因此，在中文信息處理中，首先將遇到中文詞法分析的問題。中文詞法分析是中文信息處理的基礎(chǔ)與關(guān)鍵。