畢業設計-基于java的校園在線訂餐網站的設計和實現(文件)

　

【正文】 private boolean stateOfMulti = false。運行需求中對主要的界面及其 出現故障時的處理情況。處理臨時摘要中的冗余信息，按照句子在原文的位置排序和顯示摘要。 新聞處理模塊 新聞處理模塊分為單文檔處理和多文檔處理，使用的是基于 TFIDF 算法的自動摘錄型文摘方法，該算法的數據流圖如圖 32 所示 圖 32 新聞處理模塊數據流圖 新聞 處理 新聞自動摘要系統 摘要輸出 新聞輸入 文件 導入 手工輸入入 單新聞處理 多新聞處理 單新聞或多新聞 原文分析 表示變換 摘要生成 摘要 南京郵電大學通達學院 2021屆本科生畢業設計（論文） 15 整個處理過程分為原文分析、表示變換和摘要生成三個階段。 南京郵電大學通達學院 2021屆本科生畢業設計（論文） 14 根據系統的需求，初步擬定的系統架構總體設計如圖 31： 圖 31 系統結構圖 據圖 31 所示，根據該課題任務及進行的調研，將新聞自動摘要系統分為三個模塊，分別為新聞輸入、新聞處理和摘要輸出。 系統根據摘要的分類，即是否是查詢相關、是否是多文檔生成文檔摘要，顯示在輸出界面的文本域內。 系統首先需要用戶設置摘要類型，即是否是查詢相關、是否是多文檔類型，接下來要求用戶選擇新聞輸入方式，然后根據是否是查詢相關摘要要求用戶輸入查詢詞，最后要求用戶輸入摘要句子長度。海量的信息在極大的豐富人們日常生活的同時也出現了許多問題，互聯網上存在大量的冗余、虛假信息。雖然該方法存在種種不足，例如：摘要內容的不全面，摘要不夠簡潔。 本章小結 本章主要介紹了文本摘要技術，包括文本摘要技術的定義、分類以及四種主流的方法，包括：自動摘錄、基于理解的自動文摘、信息抽取和基于結構的自動文摘。它被設計成高度靈活和可擴展的。 斯坦福工具包是一組自然語言分析工具的集合，該工具可以接受原始文本作為輸入，給出單詞的原型，詞性，不論它們是公司的名字，還是人名等等。由于新聞信息包含的內容涉及各個方面，同時傳統的自然語言現在并沒有取得突破性的進展，通過語義判斷句子相似實現較困難，所以本系統使用余弦相似性來消除冗余句子。舉一個具南京郵電大學通達學院 2021屆本科生畢業設計（論文） 11 體的例子，假如新聞 X 和新聞 Y 對應向量分別是： （ x1, x2, ..., x6400）和（ y1, y2, ..., y6400） 則，它們之間的余弦距離可以用它們之間夾角的余弦值來表示： ? ?????6 4 0 01 1226 4 0 01 )(c o snii yxyixi? (式 28) 當兩條新聞向量夾角余弦等于 1 時，這兩條新聞完全重復；當夾角的余弦值接近于 1 時，兩條新聞相似（可以用作文本分類）；夾角的余弦越小，兩條新聞越不相關如圖 21,22。而要確定兩個向量方向是否一致，這就要用到余弦定理計算向量的夾角。目前 主要存在兩種方法，分別是基于向量空間模的 TFIDF 的方法和句子語義相似度分析。本文的句子權重計算如式 24， 25所示。 (5) 提示詞 (Clue)：句子中有些詞或短語本身不是關鍵詞，但它們能起提示作用，告訴讀者此句含有重要信息，如：“有重大意義的是”，“本文提出了”，“由此” ,“綜上所述”等。根據文本中特征詞出現的次數可以計算句子的權值。停用詞的過濾可以使用現有的一些中文停用詞 的詞表，然后將分詞內容與詞表進行對照，如果匹配，則將該詞去除，從而實現停用詞的有效過濾。 停用詞是指經常使用的一些沒有實際意義的詞語，如： a,the,an 等等。 南京郵電大學通達學院 2021屆本科生畢業設計（論文） 9 基于特征信息提取的自動文摘處理過程為首先對文本進行預處理，通過對詞語、句子的出現頻率以及位置等因素的考慮來實現特征詞的提取，進而組合成候選語句，經過句子相似度計算等進一步加工后生成文摘語句輸出，便實現了文摘的自動生成 [20]。例如利用文摘系統對每篇文檔生成一篇一般性的摘要，評測者根據該摘要對文本進行分類，以分類的準確性和花費的時間作為評測指標等。 (1) 召回率和準確率 準確率是指系統準確識別的比率，召回率是指系統覆蓋全面內容的比率，設Mk 為生成的“理想文摘”的句子數， Ms為系統生成的句子數目，則 Mks為系統摘要和“理想摘要”的公共句子數目，則系統的召回率和準確率如式 21， 22： kks MMca ll /Re ? （式 21） sks MMec isio n /Pr ? （式 22） (2) FMeasure 通過觀察可以發現，召回率和準確率兩者之間有一種微妙的平衡和關聯，一般如果一個系統的準確率提高了，其召回率就會下降，反之亦然。與“理想摘要”相似度越高的文摘，則質量越高。即便如此，國內外還是在這方面做了很多的研究，形成了一些普遍的觀點。 與其他的文摘的生成相比，結構型的自動文摘適用于科技文獻的文摘的編寫規范以及長文檔、多文檔的文本生成文摘的要求。 篇章是一個有機的結構體，篇章中的不同部分承擔著不同的功能， 各部分之間存在著錯綜復雜的關系。英國 Lancaster 大學Paice 等人在 1993 年提出的選擇與生成文摘法，實質上就是信息抽取方法。文摘框架是一張申請單，它以空槽的形式提出應從原文中獲取的各項內容。 基于理解的文摘方法需要對文章進行全面的分析，生成詳盡的語義表達，這對于大規模真實文本而言是很難實現的。這種方法與自動摘錄的明顯區別在于對知識的利用，首先借助詞典中的 語言學知識對原文中的句子進行語法分析，獲得語法結構樹；然后運用知識庫中的語義知識將語法結構描述轉換成以邏輯和意義為基礎的語義表示；接著根據知識庫中預先存放的領域知識在上下文中進行推理，并將提取出來的關鍵內容存入一張信息表；最后將信息表中的內容轉換為一段完整連貫的文字輸出。 由于該方法依據的是淺層 文本特征，因此，該方法不受領域等其他因素的限制，幾乎適用于任何文檔，并且具有速度快，摘要長度靈活等優點。 現有的自動文摘方法大概可分為四種：自動摘錄、基于理解的自動文摘、信息抽取和基于結構的自動文摘 [11]，下面我們逐一介紹這 4 種主要的文摘方法。多文檔文摘需要考慮文檔之間的相互關聯性以及是否有相同的信息或相同的特征詞，需要在多個文檔中去除冗余，提取指定的信息，相對來講，多文檔文摘需要用到的技術以及實現過程要更具挑戰性。在一次新聞瀏覽的事務中，同一主題的新聞數量和新聞內容的冗雜都會困擾讀者，摘要系統就面對了使用者，也就是用戶，稱為目標用戶，自動摘要系統的當前任務就是根據一定的算法，給出用戶摘要信息。 第五章是對軟件的實際測試情況的分析與探索。 本文共分為五章，以下幾章內容概要如圖 所示： 第一章主要內容為緒論內容，介紹了本次畢業設計課題的要求，目的和意義及論文組織結構如圖 11 所示。有的學者 ,以詞為研究單元 ,日本東京大學的學者就通過兩個參數 ,計算出中心主題和局部主題的詞 ,通過找到以這些詞作主語和賓語的句子 ,并把這些句子作為摘要句 ,根據它們之間的聯結關系生成摘要 [10]。 信息的提取工作 ,以段落為單元的研究己沒有更多的余地 ,因為以段落為單元會包含許多冗余信息。 另外 ,美國密歇根大學的 Drgaomir 、卡耐基梅隆大學的 Jdae GoldStein等人 ,他們在多文本自動摘要領域也做了很多的工作。 。 Newsblaster 是哥倫比 亞大學在多文本摘要方面的一個科研成果 ,它是一個新聞跟蹤的工具 ,并可以為每天的主要新聞做出相關的摘要。 多文本自動摘要的研究工作最早在 80 年代開始 ,那時的研究工作還不具有普遍性 ,triger 在科技文章中通過 80 多種關系描述對多文本集合描述 ,科技文章的結構南京郵電大學通達學院 2021屆本科生畢業設計（論文） 3 化統一些 ,比較好刻畫 ,但這種描述是受限域的 ,不利于推廣。得一定科研成果的單位主要有哈爾濱工業大學、上海交通大學、上海復旦大學、北京郵電大學、東北大學等。最后運用自頂向下的分析器 TRUMPET(TRUMP Expectation Tool)從概念表示中提取預期的內容 [6][7]。該系統輸出的摘要比其它任何一個計算機摘要產生系統輸出的摘要更接近于手工編寫的摘要 [5]。 俄亥俄州立大學的 Ruhs 和 MathiS 等人對摘要自動生成系統進行了深入研究[3][4],他們的系統名字為 ADAM(Automatic Document Abstracting Method),其重要特征是研制了 種種規則和程序來識別和排除原始文獻中那些不應該摘出的句子 ,強調的是排除指標而不是選擇規則。 Luhn 在 1958 年 發表的關于自動編制摘要的文章 [2],開創了一種樣板性研究方南京郵電大學通達學院 2021屆本科生畢業設計（論文） 2 案 ,Luhn 將詞匯分為兩大類 :通用詞和內容詞。 對自動編制摘要的研究開始于本世紀五 十年代初期 ,它是計算機技術和機器翻譯這兩大發展潮流自然匯合在一起的結果。摘要應包含原文的核心內容或用戶感興趣的內容 ,并以語意連貫的段落乃至篇章形式輸出 ,其目標是致力于將信息全面的、簡潔的文本直接呈現給用戶 ,提 高用戶獲取信息效率。在給新聞擬定摘要或者標題的時候，面對 數量巨大、內容繁雜的新聞，每條新聞或者同類型的新聞都由編輯人員人工提煉，那將導致媒體新聞發布的效率低下，用戶很有可能會轉向同行業的競爭對手，這將直接導致媒體公司的競爭力下降。s browsing pressure, but also provides support for other text technology, which has been widespread concern . The main objective of this paper is automatic summarization technology of news text,after consulting related summary technology on the basis of the algorithm in the academic, it emphasizes on the use of the external features of news text and TFIDF algorithm to generate the summary of single news text and multidocument project cited English language processing tools Stanford CoreNLP to tokenizes the text,splits a sequence of tokens into sentences,and generates the word lemmas for all tokens in the design and implement this system in Java on the Eclipse platform. Key Words:Automatic Text Summarization； TFIDF； Termweighting； Feature information extraction； Cosine similarity III 目 錄 第一章 緒論 .............................................................................................1 課題研究背景和意義 .......................................................................................... 1 課題研究現狀 ...................................................................................................... 1 單文本自動摘要 ........................................................................................ 1 多文本自動摘要 ............................