數(shù)據(jù)采集處理項目技術(shù)方案-資料下載頁

　　

【正文】 掌握涉及到的核心技術(shù)（分布式文件系 統(tǒng)、分布式數(shù)據(jù)庫、作業(yè)調(diào)度及并行計算等 等）？高與熟悉這些核心技術(shù)的團隊合作，保證在 公司規(guī)定的期限內(nèi)完 成該項目。7 部署方案1. 軟件配置表序號名稱配置描述部署硬件服務(wù)器數(shù)量用途1.S2DFS分布式文件系統(tǒng)存儲及計算服務(wù)器10用來存儲非結(jié)構(gòu) 化和結(jié)構(gòu)化數(shù)據(jù)， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業(yè)調(diào)度服務(wù)進程存儲及計算服務(wù)器2作業(yè)（任務(wù)）的調(diào) 度程序，是計算任 務(wù)的發(fā)起者和調(diào) 度者3.DCS數(shù)據(jù)計算服務(wù)進程存儲及計算服務(wù)器10作業(yè)（任務(wù)）的具 體負(fù)責(zé)計算的程 序，接受 JSS 的分 配任務(wù)，處理任 務(wù)，比如：圖片特征批評，視頻的分 析等等4.JGS作業(yè)自動生成進程存儲及計算服務(wù)器2作業(yè)（任務(wù)）的自 動生成，主要用來 生成固定規(guī)則的 任務(wù)，比如臺標(biāo)數(shù) 據(jù)清理任務(wù)5.ACS自動清理服務(wù)進程存儲及計算服務(wù)器2自動定時清除沒 有利用價值的歷 史數(shù)據(jù)，垃圾數(shù)據(jù)6.MPS消息處理服務(wù)進程WEB 及消息服務(wù)器6獲取分布式消息 隊列中的數(shù)據(jù)，并 對獲取的數(shù)據(jù)進 行既定規(guī)則的業(yè) 務(wù)處理，最后把數(shù) 據(jù)存儲在 S2DFS 或者 D2B 中7.SDS實時流數(shù)據(jù)處理服務(wù)進程WEB 及消息服務(wù)器6能夠?qū)崟r持續(xù)的 完成流式數(shù)據(jù)的 計算處理，具有實 時性，低延遲特 點，與批計算相對應(yīng)8.D2B分布式數(shù)據(jù)庫（開源）分布式數(shù)據(jù)庫服務(wù)器10分布式 noSQL 數(shù) 據(jù)庫，完成海量結(jié) 構(gòu)化數(shù)據(jù)的存儲， 具有容量大，分布 式，易擴展，性能 好的特點8 實施計劃序號工作內(nèi)容完成時間1.實施啟動2017－7－25 前2.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2017－8－10 前3.部 署 并 聯(lián) 調(diào) PostgreSQL x64 for LinuxApacheamp。Tomcat 2017－9－15 前4.部署并聯(lián)調(diào)分布式文件系統(tǒng)（S2DFS）、部署分布式數(shù)據(jù)庫（D2B）、分布式消息（DMQ）2017－9－30前5.企業(yè)數(shù)據(jù)采集服務(wù)、投資商數(shù)據(jù)采集服務(wù)、采集任務(wù)管理、云數(shù)據(jù)存儲、云中心監(jiān)控功能開發(fā)20171031前6.企業(yè)數(shù)據(jù)采購、投資商數(shù)據(jù)采購20171031前7.試運行完成，項目驗收20171231前9 技術(shù)規(guī)格偏離表名稱序號磋商文件技術(shù)規(guī)范、要求響應(yīng)文件中對應(yīng)條款內(nèi)容偏離技術(shù)支持資料索引xx大數(shù)據(jù)中心數(shù)據(jù)運營規(guī)范制定結(jié)合xxx的業(yè)務(wù)需要，根據(jù)招商大數(shù)據(jù)平臺建設(shè)內(nèi)容及招商業(yè)務(wù)的應(yīng)用目標(biāo)，參照業(yè)界大數(shù)據(jù)平臺數(shù)據(jù)運營成功案例，制定招商大數(shù)據(jù)平臺數(shù)據(jù)運營規(guī)范及相關(guān)管理規(guī)定，并詳細(xì)提供規(guī)范所涉及業(yè)務(wù)表單、報告模板等資料。4. 數(shù)據(jù)運營無偏離相關(guān)元數(shù)據(jù)標(biāo)準(zhǔn)制定及數(shù)據(jù)的采集、整理與存儲根據(jù)招商局大數(shù)據(jù)平臺數(shù)據(jù)分析的需要，制定相關(guān)數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)，并完成與當(dāng)前大數(shù)據(jù)平臺的對接。根據(jù)所定義的元數(shù)據(jù)標(biāo)準(zhǔn)，完成數(shù)據(jù)源的定義與數(shù)據(jù)的采集，并整理形成標(biāo)準(zhǔn)數(shù)據(jù)。同時，結(jié)合招商大數(shù)據(jù)平臺的數(shù)據(jù)分析特點，提出數(shù)據(jù)存儲方案并實施。供應(yīng)商需要對所采集數(shù)據(jù)的數(shù)據(jù)源進行可信度驗證。數(shù)據(jù)采集范圍包括但不限于世界500強、全國500強、行業(yè)20強企業(yè)相關(guān)數(shù)據(jù)。要求總數(shù)據(jù)容量至少達(dá)到30個T。其數(shù)據(jù)采集與存儲必須滿足海量數(shù)據(jù)處理的要求，其架構(gòu)需要能夠根據(jù)數(shù)據(jù)規(guī)模的增大而快速擴展。并根據(jù)數(shù)據(jù)采集、整理與存儲管理的特點，提取形成數(shù)據(jù)運營要點。無偏離招商業(yè)務(wù)數(shù)據(jù)分析模型根據(jù)招商業(yè)務(wù)的需要，設(shè)計招商數(shù)據(jù)分析模型，并完成系統(tǒng)實現(xiàn)。該模型需要在招商大數(shù)據(jù)平臺的數(shù)據(jù)集上進行測試與驗證。 企業(yè)數(shù)據(jù)模型 投資商數(shù)據(jù)模型無偏離數(shù)據(jù)運營根據(jù)招商大數(shù)據(jù)平臺數(shù)據(jù)運營規(guī)范相關(guān)要求至少進行三個月的數(shù)據(jù)運營服務(wù)，并提供數(shù)據(jù)運營報告。驗證數(shù)據(jù)運營規(guī)范的流程、優(yōu)化數(shù)據(jù)模板，并形成特定的數(shù)據(jù)運營操作指南。 數(shù)據(jù)分析處理的主要工作無偏離項目運維要求提供系統(tǒng)運維整體方案，包括運維服務(wù)支持計劃、針對不同問題的運維管理過程及運維支持人員信息。10 售后服務(wù)承諾11關(guān)于運行維護的承諾無偏離10 售后服務(wù)承諾（1）本項目應(yīng)用系統(tǒng)從項目總體驗收合格之日（從雙方代表終驗簽字之日起計算）起，我公司提供所開發(fā)系統(tǒng)免費維護12個月。（2）在質(zhì)量保證期內(nèi)，我方提供技術(shù)服務(wù)、升級服務(wù)并負(fù)責(zé)對運行中出現(xiàn)軟件故障進行處理，根據(jù)實際故障情況我方派員負(fù)責(zé)查找故障原因并將系統(tǒng)恢復(fù)到正常運行狀態(tài)。在質(zhì)量保證期內(nèi)，我方向業(yè)主方提供7*24小時的服務(wù)響應(yīng)，保證業(yè)主方可以隨時找到相應(yīng)的技術(shù)人員，我方在接到用戶電話、傳真通知后，30分鐘內(nèi)響應(yīng)，一般問題一天內(nèi)解決，重大問題三天內(nèi)解決。特殊情況無法修復(fù)的，質(zhì)保期內(nèi)我方無條件更換新軟件；或采取使系統(tǒng)可正常運轉(zhuǎn)的措施。（3）我方將長期提供優(yōu)良的技術(shù)支持，保修期間的維護服務(wù)不收取任何額外費用，保證期后，我方承諾仍根據(jù)合同要求向業(yè)主方提供技術(shù)服務(wù)，并以合理價格提供軟件功能改系統(tǒng)維護與支持的具體內(nèi)容如下：1. 電話支持我公司提供對應(yīng)用系統(tǒng)的運行、維護提供24小時的實時技術(shù)支持。我公司提供熱線電話或Email、傳真等方式隨時回答用戶各種技術(shù)問題并在24小時內(nèi)提出解決方案。2. 故障響應(yīng)7X24小時的實時故障響應(yīng)。我公司在出現(xiàn)系統(tǒng)軟件及應(yīng)用軟件等系統(tǒng)故障的2小時內(nèi)給予響應(yīng)，12小時內(nèi)恢復(fù)運行。 3. 遠(yuǎn)程技術(shù)支持當(dāng)系統(tǒng)出現(xiàn)故障，經(jīng)用戶許可后，我公司遠(yuǎn)程登錄用戶系統(tǒng)，進行故障分析、問題定位并提供解決方案。對系統(tǒng)進行的任何配置、數(shù)據(jù)改動及其它可能對系統(tǒng)和業(yè)務(wù)造成不良影響的操作，確保經(jīng)用戶確認(rèn)后進行。4. 定期跟蹤項目驗收完畢后，我公司將定期電話、現(xiàn)場跟蹤系統(tǒng)使用情況，聽取意見和建議，及時分析系統(tǒng)存在的問題，并隨時給予解決。必要時，我公司將派遣技術(shù)人員去現(xiàn)場解決存在的問題。5. 系統(tǒng)軟件升級我公司將及時向用戶通報系統(tǒng)軟件升級情況，若用戶需要對系統(tǒng)軟件升級，我公司會提供升級版本和相應(yīng)的支持服務(wù)。6. 現(xiàn)場服務(wù)當(dāng)系統(tǒng)運行環(huán)境出現(xiàn)嚴(yán)重故障，或因更換服務(wù)器等原因需要重新搭建系統(tǒng)時，我公司將及時提供切實可行的建議，通過遠(yuǎn)程支持不能及時解決問題時，派技術(shù)支持人員趕赴現(xiàn)場，協(xié)助用戶完成故障排除、升級或遷移操作，對系統(tǒng)進行完整性檢查并跟蹤運行。11 關(guān)于運行維護的承諾我公司承諾如若我公司為成交供應(yīng)商，在項目驗收合格交付采購人使用后，為采購人免費提供運行維護的期限為：12個月；免費維護期過后每年對運行維護的收費比例為系統(tǒng)建設(shè)經(jīng)費的15%；免費維護期過后，繼續(xù)向項目單位提供產(chǎn)品維護、技術(shù)支持、產(chǎn)品升級等服務(wù)，服務(wù)價格雙方根據(jù)具體情況進行協(xié)商。12 保密措施及承諾一、相關(guān)信息和資料的定義本承諾書所稱的“相關(guān)信息和技術(shù)資料”是指 XXX大數(shù)據(jù)庫中心數(shù)據(jù)庫投資商和企業(yè)數(shù)據(jù)采集處理項目 目的招投標(biāo)向我公司提供的招標(biāo)文件內(nèi)容以及有關(guān)本項目實施過程中涉及的全部未向社會公開的信息，無論是書面的、口頭的、圖形的、電子的或其它任何形式的信息。 二、保密義務(wù)我公司同意嚴(yán)格保密本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。 我公司保證采取所有必要的方法對本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料進行保密，嚴(yán)禁非授權(quán)透露、使用、復(fù)制本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。未經(jīng)貴司書面同意，我公司不得因任何理由以任何方式透露本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。 三、使用方式和不使用的義務(wù)本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料只能被我公司用于進行本次參與招投標(biāo)及中標(biāo)后的項目實施，我公司不能將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料用于其它任何目的。除我公司參與招投標(biāo)的人員和直接參與本次項目實施的員工外，我公司不能將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料透露給其它任何人；未經(jīng)貴司書面同意，我公司不得將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料向新聞媒體予以公開披露或者發(fā)表聲明。我公司應(yīng)當(dāng)告知參與本次招投標(biāo)的員工或我公司聘請的相關(guān)人員遵守本保密協(xié)議書的約定，并應(yīng)采取必要措施，確保其參與本次招投標(biāo)和項目實施的員工和外聘人員履行保密義務(wù)。若參與本項工作之員工或外聘人員違反本保密協(xié)議的約定，泄露了貴司所提供的相關(guān)信息和技術(shù)資料，依據(jù)本承諾書約定，我公司應(yīng)與泄密員工或外聘人員承擔(dān)連帶責(zé)任。 四、相關(guān)信息和資料的交回當(dāng)貴司以書面形式要求我公司交回本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料時，我公司應(yīng)立即交回所有書面的或其他有形的相關(guān)信息和資料以及所有描述和概括該相關(guān)信息和資料的文件。我公司在交回以上有關(guān)資料前未經(jīng)貴司的允許不得采取抄寫、復(fù)印、拷貝等任何方式留存相關(guān)信息和資料沒有貴司的書面許可，我公司不得丟棄和處理任何書面的或其他有形的相關(guān)信息和資料。 五、保密期限自本承諾書生效之日起，雙方的合作交流都要符合本承諾書的約定，除非貴司通過書面通知明確說明，本承諾書所涉及的某項信息和資料可以不用保密，我公司必須按照本承諾書所承擔(dān)的保密義務(wù)在所接受的信息和資料被社會公知前對所收到的相關(guān)信息和資料進行保密，保密期限不受本承諾書有效期限的限制。 13 培訓(xùn)計劃人員培訓(xùn)作為工程實施的一個重要環(huán)節(jié)，對整個項目的實施至關(guān)重要，通過系統(tǒng)的培訓(xùn)，使得工作人員得到日常工作需要的專業(yè)技術(shù)知識和經(jīng)驗，從而保障整個系統(tǒng)的順利運行。項目建設(shè)最終系統(tǒng)將交付用戶使用，項目培訓(xùn)是項目實施中的重要環(huán)節(jié)， 通過項目培訓(xùn)對業(yè)主人員進行全面的技術(shù)培訓(xùn)，使業(yè)主單位人員達(dá)到能獨立進行管理、故障處理、日常測試維護等工作，以便于我方提供的軟、硬件能夠正常、安全的運行。培訓(xùn)的總體目標(biāo)：管理員培訓(xùn)。培訓(xùn)對象：系統(tǒng)管理員。培訓(xùn)目的：可以獨立完成本單位行政執(zhí)法的日常維護，解決一般問題。 培訓(xùn)內(nèi)容：系統(tǒng)體系結(jié)構(gòu)、系統(tǒng)配置、系統(tǒng)管理、系統(tǒng)使用。培訓(xùn)方式：集中培訓(xùn)和個別培訓(xùn)。培訓(xùn)批次：不少于1次的集中培訓(xùn)，個別培訓(xùn)隨時安排。使用人員培訓(xùn)培訓(xùn)對象：系統(tǒng)一般使用人員。培訓(xùn)目的：熟練掌握所涉及部分的操作。培訓(xùn)內(nèi)容：系統(tǒng)使用。培訓(xùn)方式：集中培訓(xùn)和個別培訓(xùn)（主要針對領(lǐng)導(dǎo)）。培訓(xùn)批次：不少于2次的集中培訓(xùn)（本單位）。個別培訓(xùn)隨時安排。 培訓(xùn)對象由于本項目是一項綜合型的項目，系統(tǒng)使用范圍廣，用戶層次多，不同用戶層次使用的系統(tǒng)角色不相同，使用的內(nèi)容和側(cè)重點各不相同，因此我們在本項目中將針對不同的用戶層次提供針對性的用戶培訓(xùn)，保障培訓(xùn)效果，使各層次的用戶都能熟練掌握系統(tǒng)的相關(guān)知識。普通用戶層： 普通用戶層是應(yīng)用系統(tǒng)的直接使用者，涉及到系統(tǒng)的各方面功能，是對系統(tǒng)功能理解最深、業(yè)務(wù)最熟悉的用戶群，然而普通用戶層由于覆蓋的面廣，各部門主要使用的功能模塊不盡相同，因此針對于普通用戶將按照不同的部門的側(cè)重點進行分期培訓(xùn)，組織類似業(yè)務(wù)部門或單獨部門進行培訓(xùn)，以便于各部門對各自業(yè)務(wù)系統(tǒng)使用的把握，以達(dá)到各用戶能熟練掌握系統(tǒng)的使用方法。系統(tǒng)管理員和應(yīng)用級管理員： 系統(tǒng)管理員和應(yīng)用級管理員是業(yè)主單位對系統(tǒng)進行管理維護的員，這一用戶掌握一定的信息技術(shù)，并且針對應(yīng)用系統(tǒng)管理員和平臺維護員分別進行針對性的培訓(xùn)，主要側(cè)重于系統(tǒng)的建設(shè)原理和規(guī)劃，總體架構(gòu)，常見問題的解決，系統(tǒng)安裝配置等內(nèi)容。系統(tǒng)的維護和管理工作需要對應(yīng)用系統(tǒng)較熟悉，并且能處理運行過程中遇到的各類問題，因此對于軟件維護人員和管理員將采用共同參與項目維護和實施的方式，從長期實踐中逐漸掌握系統(tǒng)維護知識，提升其技術(shù)技能和對系統(tǒng)的認(rèn)識。技術(shù)人員培訓(xùn)： 技術(shù)人員主要是指業(yè)主單位具備一定的應(yīng)用系統(tǒng)開發(fā)能力，主要用于系統(tǒng)上線后對系統(tǒng)的需求變動進行二次開發(fā)和修改，以及系統(tǒng)擴展能力的技術(shù)人員，針對這一用戶群，將著重于應(yīng)用系統(tǒng)的開發(fā)原理、開發(fā)工具、系統(tǒng)架構(gòu)等進行培訓(xùn)，使其掌握系統(tǒng)二次開發(fā)技術(shù)，為今后系統(tǒng)升級改造、功能擴展儲備技術(shù)力。THANKS !!!致力為企業(yè)和個人提供合同協(xié)議，策劃案計劃書，學(xué)習(xí)課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參考62