基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)畢業(yè)設(shè)計(jì)論文(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 致謝 .............................................................................................................................. 28 參考文獻(xiàn) ...................................................................................................................... 29 I 摘要 研 究表明，許多圖像中里都包含著一定的感情色彩， 不同的圖像會(huì)喚起人類不同的情感。如何有效地模擬人觀察圖像后所引起的情感感覺(jué)，并使用帶有感情色彩的語(yǔ)義表述圖像，是一個(gè)具有很大挑戰(zhàn)性的前沿課題。 情感圖像檢索的研究在醫(yī)學(xué)、心理學(xué)、智能科學(xué)、社會(huì)學(xué)、計(jì)算機(jī)學(xué)、農(nóng)業(yè)學(xué)等等領(lǐng)域都有巨大的應(yīng)用價(jià)值。 本文研究圖像的低層視覺(jué)特征與高層語(yǔ)義之間的關(guān)系，例如 情感的“靜態(tài)”“動(dòng)態(tài)”與圖像之間的關(guān)系。首先，建立一個(gè)包含動(dòng)靜態(tài)的圖像數(shù)據(jù)庫(kù)。在互聯(lián)網(wǎng)上收集 200幅包含“動(dòng)感”和“靜感”內(nèi)容的藝術(shù)圖像（如油畫(huà)、水粉畫(huà)、中國(guó)畫(huà)。 包括東方和西方 作品 ）。然后請(qǐng) 3位同學(xué)對(duì)圖像的動(dòng)感作出評(píng)估，進(jìn)行打分，最后得到包含 200幅“靜感”類和“動(dòng)感”類圖像的數(shù)據(jù)庫(kù)。其次， 利用線條方向直方圖提取圖像邊緣特征信息，再這基礎(chǔ)上可以改進(jìn)算法，比較分類的正確性。并且結(jié)合 Weighted kNN、 kNN、 BP神經(jīng)網(wǎng)絡(luò) 三種分類器對(duì)情感圖像數(shù)據(jù)庫(kù)進(jìn)行分類，分類提高了圖像檢索的正確率。 使用分類器的原理是： 如果分類器分類正確，那么檢索到的結(jié)果都是正確的，反之亦然。 通 過(guò)本次實(shí)驗(yàn)證明，相對(duì)于 kNN、 Weighted kNN分類器， BP神經(jīng)網(wǎng)絡(luò) 分類器的分類正確率是比較高的，分 類率為 。 kNN、 Weighted kNN分別是 和 。通過(guò)改進(jìn)訓(xùn)練樣本可以改進(jìn)提高分類率。 本文重點(diǎn)研究線條方向直方圖、 kNN、 Weighted kNN、 BP神經(jīng)網(wǎng)絡(luò)分類器的算法。 關(guān)鍵詞： 視覺(jué)特征計(jì)算 情感圖像檢索 線條方向直方圖 分類器 II Abstract Research shows that many images are included in a certain emotional colors, different images will evoke different human emotions. How to effectively simulate the emotional feeling of people caused by the observed image and the image using semantic representations emotionally, is leading subject of a great challenge. Emotional image retrieval research in medicine, psychology, smart science, sociology, puter science, etc. in the field of agricultural science has great value. Lowlevel visual features and the relationship between highlevel semantic image this study, such as static, dynamic relationship between the images and emotions. First, create the image database containing dynamic static. Collected 200 contains dynamic and static sense, the art of image content on the Inter (such as oil painting, watercolor painting, Chinese painting, including Eastern and Western works). Then ask students to make three dynamic image assessment, scoring, and finally get that contains 200 quiet sense of class and the dynamic class image database. Secondly, the use of lines to extract image edge direction histogram feature information, then it can be improved algorithm based on paring the classification accuracy. And bined Weighted kNN, kNN, BP neural work classifier three kinds of emotional image database categorize improve the image retrieval accuracy. Use classification principle is: if the classification accuracy, then retrieved the results are correct, and vice versa. Through this experiment proved that with respect to the kNN, Weighted kNN classifier, BP neural work classifier correct rate is relatively high, the classification was . kNN, Weighted kNN were and . Can be improved by improving the training samples to improve the classification rate. This paper focuses on the line direction histogram, kNN, Weighted kNN, BP neural work classifier algorithm. Keywords: Visual features calculation emotional image retrieval line direction histogram the classifier 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 1 引言 隨著信息化時(shí)代的到來(lái)和信息傳播速度大力的提升，越來(lái)越多的圖像信息被人們所接觸。生活中，很多圖像不但帶有豐富的表面信息，而且蘊(yùn)含了許多情感內(nèi)容，為了滿足用戶主觀的對(duì)于圖像信 息的需求，就興起了圖像檢索技術(shù)。近年來(lái)，圖像檢索技術(shù)已成為什么熱門的研究課題。 早在上個(gè)世紀(jì) 80 年代初期，就已經(jīng) 形成了基于文本的圖像檢索，它通過(guò)提取關(guān)鍵字信息，通過(guò)關(guān)鍵字與文本信息進(jìn)行檢索的一門技術(shù) [1]。雖然文本圖像檢索大大的提高了圖像檢索的效率，但是有些圖像的關(guān)鍵字比較抽象、難以描述，加之一千個(gè)讀者便有一千個(gè)哈姆雷特，中國(guó)漢字的多義性使得結(jié)果往往不如人意。直到上個(gè)世紀(jì) 90 年代初，伴隨著，互聯(lián)網(wǎng)圖像信息的突飛猛進(jìn)，基于內(nèi)容的圖像檢索技術(shù) (CRIR)成為圖像檢索的主要技術(shù) [ 2 ]。其實(shí)， CRIR 就是采用圖 像的顏色、紋理、形狀以及本身包含的不同層次結(jié)構(gòu)和語(yǔ)義信息來(lái)對(duì)圖像進(jìn)行檢索的，主要依據(jù)圖像的相似性進(jìn)行判斷的。目前，人們一般采用形容詞描述圖像的情感語(yǔ)義，例如，燭光給人溫馨溫暖的氣氛等等，日本研究人員早早開(kāi)展這方面的研究，他們將描述情感語(yǔ)義的形容詞稱作為 Kansei(感性的 )[ 3 ]。情感圖像檢索的研究與人類的視覺(jué)感受到的信息密切相關(guān)，通過(guò)研究這兩者之間的關(guān)系，對(duì)未來(lái)的發(fā)展具有什么重要的意義和作用。 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 2 隨著因特網(wǎng)技術(shù)的不斷發(fā)展和電子產(chǎn)品的大量普及，可獲取的數(shù)字圖 像的數(shù)據(jù)規(guī)模越來(lái)越多，數(shù)據(jù)庫(kù)日益增大，極大地方便了用戶的需求，同時(shí)為社會(huì)創(chuàng)造了巨大的經(jīng)濟(jì)效益。為了滿足人們的需求，每天都會(huì)產(chǎn)生巨量的數(shù)字圖像，這樣確實(shí)是帶來(lái)了人們便利，但是用戶無(wú)論使用何種信息，首先都得面臨如何查詢自己所需的圖像信息，于是就出現(xiàn)了兩種圖像檢索方法即基于文本的圖像檢索和基于內(nèi)容的圖像檢索。 背景與現(xiàn)狀 現(xiàn)如今大多數(shù)的搜索引擎都是基于文本的關(guān)鍵詞搜索，即文本注釋。它是先對(duì)圖像進(jìn)行文字內(nèi)容的注解，然后在圖像數(shù)據(jù)庫(kù)里進(jìn)行檢索。但是這樣方法有一定的缺陷。雖然文字注解概括了抽象的圖像信息，但是由 于用戶對(duì)事物的主觀性和文化背景的差異，人們對(duì)同一件事物的描述可能存在不同的理解，那么，當(dāng)用戶查詢時(shí)錄入的關(guān)鍵詞與數(shù)據(jù)庫(kù)中的關(guān)鍵詞不匹配或者不存在時(shí)，將會(huì)導(dǎo)致查詢失敗。另一方面，關(guān)鍵字對(duì)文本的描述能力有限，很難全面的反映圖像內(nèi)容的中心思想。再者，不同地區(qū)不同國(guó)籍之間的自然語(yǔ)言理解和表述問(wèn)題對(duì)文本的描述也存在差異，這又給檢索造成了新的困難，盡管可以借用詞典或者互聯(lián)網(wǎng)得到簡(jiǎn)化，但是，同時(shí)使得檢索的表達(dá)能力受到了極大的限制。接著出現(xiàn)了利用 Web 網(wǎng)頁(yè)中圖像的關(guān)鍵字信息來(lái)進(jìn)行檢索的引擎技術(shù)。因此客觀上講，目前的圖像 搜索引擎，從本質(zhì)上并沒(méi)有解決這一難題，搜索結(jié)果不能達(dá)到預(yù)期的目標(biāo)。 如圖 11 所示，利用搜狗圖像搜索引擎輸入關(guān)鍵字“企鵝”后得到的結(jié)果，圖 2 是利用百度圖像搜索引擎輸入關(guān)鍵字“小燕子”后得到的結(jié)果。 圖 11 搜狗圖像搜索示例 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 3 由圖可以看出，圖 11 中的第二排最后一幅圖檢索到了大猩猩，第三排第 5列檢索到了海龜，這些圖片都是不符合要求的。圖 12 中，第二排和第三排檢索到了著名影星趙薇的照片，因?yàn)殡m然關(guān)鍵詞的泛指性，這樣也造成了圖像檢索結(jié)果的不理想，檢索到的結(jié)果往往也不能令人滿意。 圖 12 百度圖 像搜索示例 另一種是基于內(nèi)容的圖像檢索 ，顧名思義，它是根據(jù)圖像的內(nèi)容進(jìn)行檢索的。由于圖像依靠它的視覺(jué)特征來(lái)進(jìn)行檢索，根據(jù)視覺(jué)特征的相似度進(jìn)行比較，然后按照相似度進(jìn)行排序并且將結(jié)果返回給用戶。根據(jù)實(shí)驗(yàn)結(jié)果，基于內(nèi)容的圖像檢索比較以前的檢索系統(tǒng)有很大的進(jìn)步。但是盡管如此，基于文本和內(nèi)容的圖像檢索仍然存在著許許多多等待人們?nèi)ヌ剿骱徒鉀Q的問(wèn)題。加之，圖像內(nèi)容的豐富性和多樣性，用戶心理的變化的主觀性，對(duì)圖像檢索的研究提出了挑戰(zhàn)，因此情感圖像檢索的研究是目前十分熱門的具有挑戰(zhàn)性的研究課題，具有十分重要的意義。 圖 13是圖像檢索系統(tǒng)的框架。 圖 13 圖像檢索系統(tǒng)概念示例 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 4 基于情感圖像檢索的概念 圖像語(yǔ)義有好幾層 [ 4， 5 ]。而我們討論的情感語(yǔ)義位于抽象語(yǔ)義的最高水平，它可以被定義為描述強(qiáng)度和情緒，感情或通過(guò)可視圖像誘發(fā)人類的情感類型的情感語(yǔ)義。它通常是以形容詞的形式表示，即快樂(lè)，浪漫，輝煌等等。情感語(yǔ)義的圖像檢索（ ESIR）可以被視為一個(gè)基于語(yǔ)義的圖像檢索和情感識(shí)別的分支。情感圖像語(yǔ)義的自動(dòng)推導(dǎo)將延長(zhǎng)圖像索引和檢索目前的可能性范圍。例如，我們將能夠?qū)Α耙粋€(gè)宜人的景觀”或“優(yōu)雅的服裝圖像”進(jìn)行檢 索。此外，圖像檢索的結(jié)果也將隨著情感圖像內(nèi)容的參與而增強(qiáng)。 情感圖像檢索特征的分類 情感是一種微妙的心理表現(xiàn)，存在著很大的多義性和主觀性，不同圖像都會(huì)給人不同的感受 ,而不同的人對(duì)相同的圖像也會(huì)存在各色各樣的情感差異 [ 6 ]。圖像中的顏色、形狀、紋理與圖像中包含的情感是緊密相關(guān)的。本小節(jié)圍繞顏色、紋理、形狀等特征開(kāi)展。 顏色中的情感 顏色是組成美麗圖像的元素之一。從色調(diào)上看，一般將色彩分為暖色調(diào)和冷色調(diào)，不同的色調(diào)帶給人不同的感受，性別的差異對(duì)相同色調(diào)的感知也是有差異的。同理，色彩 飽和度的差異也給人不同的感受。一言以蔽之，顏色基于其顯著的心理學(xué)反應(yīng)，對(duì)圖像的情感語(yǔ)義的研究有著十分重要的作用 [ 7 ]，因此，在圖像情感檢索的研究中，一定要重視顏色特征且必須將其做為重要的特征加以研究。 顏色是最直接、最敏感的視覺(jué)特征，是描述情感圖像最有效的特征之一，具有鮮明性、獨(dú)特性、合適性、聯(lián)想性和穩(wěn)定性等特點(diǎn)，在外界環(huán)境（軟件和硬件）和自生特點(diǎn)等因素的變化下都表現(xiàn)出超強(qiáng)的健壯性。不同的事物有著不同的顏色特征，因此可以利用顏色特征來(lái)區(qū)別不同物體。例如，紅玫瑰代表熱情、興奮、強(qiáng)烈、好戰(zhàn)、希望、奮進(jìn)，綠色 的草地代表新鮮、清新、和平，藍(lán)色的天空代表清爽、自由、寧?kù)o。圖像的顏色特征細(xì)致的研究和分析有助于對(duì)人的心理情緒變化進(jìn)行分析，對(duì)是情感圖像檢索的有著十分重要的意義。 紋理中的情感 實(shí)際上，紋理特征是顏色特征的另一種的表達(dá)形式的存在，它是一種表面的視覺(jué)屬性，表達(dá)了包含在物體表面的情感信息。例如，顆粒