物聯網技術基礎總復習-資料下載頁

　　

【正文】 ? 5. 工作量還包含許多對大量數據進行的、連續的、向文件添加數據的寫操作。所寫的數據的規模和讀相似。一旦寫完，文件很少改動。 在隨機位置對少量數據的寫操作也支持，但不必非常高效 ? 6. 系統必須高效地實現定義完好的大量客戶同時向同一個文件的添加操作的語義。 62 第 7章 軟件、服務和算法技術 ? 63 第 7章 軟件、服務和算法技術 ? MapReduce是 Google開發的 Java、 Python、 C++編程工具，適合用來處理大量數據的分布式運算，用于解決問題的程序開發模型，也是開發人員拆解問題的方法。 ? MapReduce模式的思想是將要執行的問題拆解成 Map（映射）和 Reduce（化簡）的方式，先通過 Map程序將數據切割成不相關的區塊，分配（調度）給大量計算機處理達到分布運算的效果，再通過 Reduce程序將結果匯整，輸出開發者需要的結果。 64 第 7章 軟件、服務和算法技術 ? 3. BigTable 分布式存儲系統 65 第 8章 硬件技術 ? MESM的定義是什么？ ? MEMS： Micro Electro Mechanical Systems，微機電系統，是由微傳感器、微執行器、信號處理和控制電路、通信接口和電源等部件組成的一體化的微型器件系統。 66 第 9章 數據和信號處理技術 ? 簡述關系數據庫在處理海量數據面臨的問題。 ? 簡述非關系數據庫的分類。 ? 簡述語義網的體系結構。 ? 名詞解釋： XML、 HPC 67 第 9章 數據和信號處理技術 ?XML， Extensible Markup Language，可擴展標記語言，是標準通用標記語言 SGML的子集，是 Inter環境中跨平臺的，依賴于內容的技術，是當前處理結構化文檔信息的有力工具，是一種簡單的數據存儲語言，使用一系列簡單的標記描述數據 ?XML與 HTML的設計區別是： XML是用來存儲數據的，重在數據本身。而 HTML是用來定義數據的，重在數據的顯示模式 68 第 9章 數據和信號處理技術 ?xml version= encoding=ISO88591? bookstore book id=No1 titleAn Introduction to XML/title authorChunbin/author year2023/year price/price /book book id=No2 titleThe Performance of DataBase/title authorJohn/author year1996/year price/price /book /bookstore 69 第 9章 數據和信號處理技術 ?HPC： High Performance Computing，高性能計算，是計算機科學的一個分支，主要是指從體系結構、并行算法和軟件開發等方面研究開發高性能計算機的技術。通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的計算系統和環境。 70 第 9章 數據和信號處理技術 ? 傳統的關系數據庫在應對海量數據處理上仍有許多不足。主要表現在： ? ① 缺乏對海量數據的快速訪問能力 ? ② 缺乏海量數據訪問靈活性 ? ③ 對非結構化數據處理能力薄弱 ? ④ 海量數據導致存儲成本、維護管理成本不斷增加 ? ⑤ 海量數據缺乏快速備份與災難恢復機制 ? NoSQL數據庫大致可以分為三類： ? 主要特點就是具有極高的并發讀寫性能 ? 主要保證在海量數據存儲的同時，具有良好的查詢性能。 ? 71 第 9章 數據和信號處理技術 ? 語義網的體系結構共有七層 ? 1. 第一層： Unicode和 URI ? 2. 第二層： XML+NS+xmlschema ? 3. 第三層： RDF + rdfschema ? 4. 第四層： Ontology vocabulary ? 5. 第五至七層： Logic、 Proof、 Trust ? 語義網的實現需要三大關鍵技術的支持： XML、 RDF和 Ontology 72 第 10章 發現與搜索引擎技術 ? 簡述搜索引擎的分類 ? 簡述搜索引擎的工作原理 ? 簡述搜索引擎的組成 ? 簡述數據挖掘的任務 ? 簡述數據挖掘的流程 ? 名詞解釋：搜索引擎、數據挖掘、關聯分析、聚類分析 73 第 10章 發現與搜索引擎技術 ? 搜索引擎（ search engine）是指根據一定的策略、運用特定的計算機程序搜集互聯網上的信息，在對信息進行組織和處理后，并將處理后的信息顯示給用戶，是為用戶提供檢索服務的系統 ? 搜索引擎分類 ? 全文搜索引擎：從互聯網提取各個網站的信息，建立起數據庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果，如 Google，百度搜索 ? 目錄索引：嚴格意義上不能稱只為真正的搜索引擎，只是按目錄分類的網站鏈接列表，如 Yahoo、新浪分類目錄搜索 ? 元搜索引擎（ META Search Engine）接受用戶查詢請求后，同時在多個搜索引擎上搜索，并將結果返回給用戶；著名的元搜索引擎如 InfoSpace、 Dogpile、 Vivisimo等。 74 第 10章 發現與搜索引擎技術 ? 搜索引擎的工作原理通常為： ? 首先，用爬蟲 Spider進行全網搜索，自動抓取網頁； ? 然后，將抓取網頁進行索引，記錄與檢索有關的屬性，中文搜索引擎中還需要首先對中文進行分詞； ? 最后，接受用戶查詢請求，檢索索引文件并按照各種參數進行復雜的計算，產生結果并返回給用戶 75 第 10章 發現與搜索引擎技術 ? 搜索引擎一般由四個部分組成： ? 搜索器 ：功能是在互聯網中漫游，發現和搜集信息； ? 索引器 ：功能是理解搜索器所搜索到的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫索引表； ? 檢索器 ：其功能是根據用戶的查詢在索引庫中快速檢索文檔，進行相關度評價，對將要輸出的結果排序，并能按用戶的查詢需求合理反饋信息； ? 用戶接口 ：其作用是接納用戶查詢、顯示查詢結果、提供個性化查詢項 76 第 10章 發現與搜索引擎技術 ? 數據挖掘：從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程 ? 數據挖掘的任務主要是關聯分析、聚類分析、分類、預測、時序模式和偏差分析等。 77 第 10章 發現與搜索引擎技術 ? 關聯分析 (association analysis) ? 兩個或兩個以上變量的取值之間存在某種規律性，就稱為關聯 ? 聚類分析 (clustering) ? 聚類是把數據按照相似性歸納成若干類別，同一類中的數據彼此相似，不同類中的數據相異。聚類分析可以建立宏觀的概念，發現數據的分布模式，以及可能的數據屬性之間的相互關系 ? 分類 (classification) ? 分類就是找出一個類別的概念描述，它代表了這類數據的整體信息，即該類的內涵描述，并用這種描述來構造模型，一般用規則或決策樹模式表示。分類是利用訓練數據集通過一定的算法而求得分類規則。分類可被用于規則描述和預測 78 第 10章 發現與搜索引擎技術 ? 數據挖掘流程 ? ① 定義問題：清晰地定義出業務問題，確定數據挖掘的目的。 ? ② 數據準備： ? 選擇數據 在大型數據庫和數據倉庫目標中提取數據挖掘的目標數據集； ? 數據預處理 進行數據再加工，包括檢查數據的完整性及數據的一致性、去噪聲，填補丟失的域，刪除無效數據等。 ? ③ 數據挖掘 ： 根據數據功能的類型和和數據的特點選擇相應的算法，在凈化和轉換過的數據集上進行數據挖掘。 ? ④ 結果分析：對數據挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。 ? ⑤ 知識的運用：將分析所得到的知識集成到業務信息系統的組織結構中去。 79 演講完畢，謝謝觀看！