數據采集處理項目-技術方案-資料下載頁

　　

【正文】 高采用成熟的經過驗證的方案，包括在生產 環境中已經驗證的核 心軟件平臺。2.負責該項目的設計和實施的團隊是否能夠很快的掌握涉及到的核心技術（分布式文件系 統、分布式數據庫、作業調度及并行計算等 等）？高與熟悉這些核心技術的團隊合作，保證在 公司規定的期限內完 成該項目。7 部署方案1. 軟件配置表序號名稱配置描述部署硬件服務器數量用途1.S2DFS分布式文件系統存儲及計算服務器10用來存儲非結構 化和結構化數據， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業調度服務進程存儲及計算服務器2作業（任務）的調 度程序，是計算任 務的發起者和調 度者3.DCS數據計算服務進程存儲及計算服務器10作業（任務）的具 體負責計算的程 序，接受 JSS 的分 配任務，處理任 務，比如：圖片特征批評，視頻的分 析等等4.JGS作業自動生成進程存儲及計算服務器2作業（任務）的自 動生成，主要用來 生成固定規則的 任務，比如臺標數 據清理任務5.ACS自動清理服務進程存儲及計算服務器2自動定時清除沒 有利用價值的歷 史數據，垃圾數據6.MPS消息處理服務進程WEB 及消息服務器6獲取分布式消息 隊列中的數據，并 對獲取的數據進 行既定規則的業 務處理，最后把數 據存儲在 S2DFS 或者 D2B 中7.SDS實時流數據處理服務進程WEB 及消息服務器6能夠實時持續的 完成流式數據的 計算處理，具有實 時性，低延遲特 點，與批計算相對應8.D2B分布式數據庫（開源）分布式數據庫服務器10分布式 noSQL 數 據庫，完成海量結 構化數據的存儲， 具有容量大，分布 式，易擴展，性能 好的特點8 實施計劃序號工作內容完成時間1.實施啟動2017－7－25 前2.部署并聯調硬件（安裝操作系統）及局域網網絡，包括外接三線光纖網絡2017－8－10 前3.部 署 并 聯 調 PostgreSQL x64 for LinuxApacheamp。Tomcat 2017－9－15 前4.部署并聯調分布式文件系統（S2DFS）、部署分布式數據庫（D2B）、分布式消息（DMQ）2017－9－30前5.企業數據采集服務、投資商數據采集服務、采集任務管理、云數據存儲、云中心監控功能開發20171031前6.企業數據采購、投資商數據采購20171031前7.試運行完成，項目驗收20171231前9 技術規格偏離表名稱序號磋商文件技術規范、要求響應文件中對應條款內容偏離技術支持資料索引xx大數據中心數據運營規范制定結合xxx的業務需要，根據招商大數據平臺建設內容及招商業務的應用目標，參照業界大數據平臺數據運營成功案例，制定招商大數據平臺數據運營規范及相關管理規定，并詳細提供規范所涉及業務表單、報告模板等資料。4. 數據運營無偏離相關元數據標準制定及數據的采集、整理與存儲根據招商局大數據平臺數據分析的需要，制定相關數據的元數據標準，并完成與當前大數據平臺的對接。根據所定義的元數據標準，完成數據源的定義與數據的采集，并整理形成標準數據。同時，結合招商大數據平臺的數據分析特點，提出數據存儲方案并實施。供應商需要對所采集數據的數據源進行可信度驗證。數據采集范圍包括但不限于世界500強、全國500強、行業20強企業相關數據。要求總數據容量至少達到30個T。其數據采集與存儲必須滿足海量數據處理的要求，其架構需要能夠根據數據規模的增大而快速擴展。并根據數據采集、整理與存儲管理的特點，提取形成數據運營要點。無偏離招商業務數據分析模型根據招商業務的需要，設計招商數據分析模型，并完成系統實現。該模型需要在招商大數據平臺的數據集上進行測試與驗證。 企業數據模型 投資商數據模型無偏離數據運營根據招商大數據平臺數據運營規范相關要求至少進行三個月的數據運營服務，并提供數據運營報告。驗證數據運營規范的流程、優化數據模板，并形成特定的數據運營操作指南。 數據分析處理的主要工作無偏離項目運維要求提供系統運維整體方案，包括運維服務支持計劃、針對不同問題的運維管理過程及運維支持人員信息。10 售后服務承諾11關于運行維護的承諾無偏離10 售后服務承諾（1）本項目應用系統從項目總體驗收合格之日（從雙方代表終驗簽字之日起計算）起，我公司提供所開發系統免費維護12個月。（2）在質量保證期內，我方提供技術服務、升級服務并負責對運行中出現軟件故障進行處理，根據實際故障情況我方派員負責查找故障原因并將系統恢復到正常運行狀態。在質量保證期內，我方向業主方提供7*24小時的服務響應，保證業主方可以隨時找到相應的技術人員，我方在接到用戶電話、傳真通知后，30分鐘內響應，一般問題一天內解決，重大問題三天內解決。特殊情況無法修復的，質保期內我方無條件更換新軟件；或采取使系統可正常運轉的措施。（3）我方將長期提供優良的技術支持，保修期間的維護服務不收取任何額外費用，保證期后，我方承諾仍根據合同要求向業主方提供技術服務，并以合理價格提供軟件功能改系統維護與支持的具體內容如下：1. 電話支持我公司提供對應用系統的運行、維護提供24小時的實時技術支持。我公司提供熱線電話或Email、傳真等方式隨時回答用戶各種技術問題并在24小時內提出解決方案。2. 故障響應7X24小時的實時故障響應。我公司在出現系統軟件及應用軟件等系統故障的2小時內給予響應，12小時內恢復運行。 3. 遠程技術支持當系統出現故障，經用戶許可后，我公司遠程登錄用戶系統，進行故障分析、問題定位并提供解決方案。對系統進行的任何配置、數據改動及其它可能對系統和業務造成不良影響的操作，確保經用戶確認后進行。4. 定期跟蹤項目驗收完畢后，我公司將定期電話、現場跟蹤系統使用情況，聽取意見和建議，及時分析系統存在的問題，并隨時給予解決。必要時，我公司將派遣技術人員去現場解決存在的問題。5. 系統軟件升級我公司將及時向用戶通報系統軟件升級情況，若用戶需要對系統軟件升級，我公司會提供升級版本和相應的支持服務。6. 現場服務當系統運行環境出現嚴重故障，或因更換服務器等原因需要重新搭建系統時，我公司將及時提供切實可行的建議，通過遠程支持不能及時解決問題時，派技術支持人員趕赴現場，協助用戶完成故障排除、升級或遷移操作，對系統進行完整性檢查并跟蹤運行。11 關于運行維護的承諾我公司承諾如若我公司為成交供應商，在項目驗收合格交付采購人使用后，為采購人免費提供運行維護的期限為：12個月；免費維護期過后每年對運行維護的收費比例為系統建設經費的15%；免費維護期過后，繼續向項目單位提供產品維護、技術支持、產品升級等服務，服務價格雙方根據具體情況進行協商。12 保密措施及承諾一、相關信息和資料的定義本承諾書所稱的“相關信息和技術資料”是指 XXX大數據庫中心數據庫投資商和企業數據采集處理項目 目的招投標向我公司提供的招標文件內容以及有關本項目實施過程中涉及的全部未向社會公開的信息，無論是書面的、口頭的、圖形的、電子的或其它任何形式的信息。 二、保密義務我公司同意嚴格保密本次項目招投標所提供的相關信息和技術資料。 我公司保證采取所有必要的方法對本次項目招投標所提供的相關信息和技術資料進行保密，嚴禁非授權透露、使用、復制本次項目招投標所提供的相關信息和技術資料。未經貴司書面同意，我公司不得因任何理由以任何方式透露本次項目招投標所提供的相關信息和技術資料。 三、使用方式和不使用的義務本次項目招投標所提供的相關信息和技術資料只能被我公司用于進行本次參與招投標及中標后的項目實施，我公司不能將本次項目招投標所提供的相關信息和技術資料用于其它任何目的。除我公司參與招投標的人員和直接參與本次項目實施的員工外，我公司不能將本次項目招投標所提供的相關信息和技術資料透露給其它任何人；未經貴司書面同意，我公司不得將本次項目招投標所提供的相關信息和技術資料向新聞媒體予以公開披露或者發表聲明。我公司應當告知參與本次招投標的員工或我公司聘請的相關人員遵守本保密協議書的約定，并應采取必要措施，確保其參與本次招投標和項目實施的員工和外聘人員履行保密義務。若參與本項工作之員工或外聘人員違反本保密協議的約定，泄露了貴司所提供的相關信息和技術資料，依據本承諾書約定，我公司應與泄密員工或外聘人員承擔連帶責任。 四、相關信息和資料的交回當貴司以書面形式要求我公司交回本次項目招投標所提供的相關信息和技術資料時，我公司應立即交回所有書面的或其他有形的相關信息和資料以及所有描述和概括該相關信息和資料的文件。我公司在交回以上有關資料前未經貴司的允許不得采取抄寫、復印、拷貝等任何方式留存相關信息和資料沒有貴司的書面許可，我公司不得丟棄和處理任何書面的或其他有形的相關信息和資料。 五、保密期限自本承諾書生效之日起，雙方的合作交流都要符合本承諾書的約定，除非貴司通過書面通知明確說明，本承諾書所涉及的某項信息和資料可以不用保密，我公司必須按照本承諾書所承擔的保密義務在所接受的信息和資料被社會公知前對所收到的相關信息和資料進行保密，保密期限不受本承諾書有效期限的限制。 13 培訓計劃人員培訓作為工程實施的一個重要環節，對整個項目的實施至關重要，通過系統的培訓，使得工作人員得到日常工作需要的專業技術知識和經驗，從而保障整個系統的順利運行。項目建設最終系統將交付用戶使用，項目培訓是項目實施中的重要環節， 通過項目培訓對業主人員進行全面的技術培訓，使業主單位人員達到能獨立進行管理、故障處理、日常測試維護等工作，以便于我方提供的軟、硬件能夠正常、安全的運行。培訓的總體目標：管理員培訓。培訓對象：系統管理員。培訓目的：可以獨立完成本單位行政執法的日常維護，解決一般問題。 培訓內容：系統體系結構、系統配置、系統管理、系統使用。培訓方式：集中培訓和個別培訓。培訓批次：不少于1次的集中培訓，個別培訓隨時安排。使用人員培訓培訓對象：系統一般使用人員。培訓目的：熟練掌握所涉及部分的操作。培訓內容：系統使用。培訓方式：集中培訓和個別培訓（主要針對領導）。培訓批次：不少于2次的集中培訓（本單位）。個別培訓隨時安排。 培訓對象由于本項目是一項綜合型的項目，系統使用范圍廣，用戶層次多，不同用戶層次使用的系統角色不相同，使用的內容和側重點各不相同，因此我們在本項目中將針對不同的用戶層次提供針對性的用戶培訓，保障培訓效果，使各層次的用戶都能熟練掌握系統的相關知識。普通用戶層： 普通用戶層是應用系統的直接使用者，涉及到系統的各方面功能，是對系統功能理解最深、業務最熟悉的用戶群，然而普通用戶層由于覆蓋的面廣，各部門主要使用的功能模塊不盡相同，因此針對于普通用戶將按照不同的部門的側重點進行分期培訓，組織類似業務部門或單獨部門進行培訓，以便于各部門對各自業務系統使用的把握，以達到各用戶能熟練掌握系統的使用方法。系統管理員和應用級管理員： 系統管理員和應用級管理員是業主單位對系統進行管理維護的員，這一用戶掌握一定的信息技術，并且針對應用系統管理員和平臺維護員分別進行針對性的培訓，主要側重于系統的建設原理和規劃，總體架構，常見問題的解決，系統安裝配置等內容。系統的維護和管理工作需要對應用系統較熟悉，并且能處理運行過程中遇到的各類問題，因此對于軟件維護人員和管理員將采用共同參與項目維護和實施的方式，從長期實踐中逐漸掌握系統維護知識，提升其技術技能和對系統的認識。技術人員培訓： 技術人員主要是指業主單位具備一定的應用系統開發能力，主要用于系統上線后對系統的需求變動進行二次開發和修改，以及系統擴展能力的技術人員，針對這一用戶群，將著重于應用系統的開發原理、開發工具、系統架構等進行培訓，使其掌握系統二次開發技術，為今后系統升級改造、功能擴展儲備技術力。60