智能交通數據預處理算法研究及應用(編輯修改稿)

　

【文章內容簡介】 正態分布中，%，%，%。圖33標準正態分布曲線Figure 33 Standard normal distribution curve在實際應用中，常常考慮具有或近似于正態分布特性的數據，如果這種假設準確無誤，那么就可以應用以上規則，就是我們常說的“”或“經驗法則”。總的來說，在以μ為均值，以σ為標準差的正態分布中，圖像的對稱軸為x=μ，3??準則即為：數值分布在區間μσ,μ+，數值分布在區間μ2σ,μ+，數值分布在區間μ3σ,μ+。我們近似認為，幾乎所有Y的取值都在區間μ3σ,μ+3σ內，%，即以三倍測量列的標準偏差限為依據，如果誤差超過了界限，就認定此誤差為非隨機誤差，認為是粗大誤差，即為異常數據，既然數據異常，就不能作為實際應用，應予剔除。3??原則是一種檢查異常數據的準則，假若事先已經修正系統誤差，使其在標準范圍內，在處理數據的時候主要考慮的是偶然誤差，如果某一測量的偶然誤差服從正態分布，根據正態分布公式可以求出標準偏差??，3??為極限誤差，在數據服從正態分布的情況下，偶然誤差不在177。3??%，若用平均值取代真值，%的數據都會在177。3??的區域中，不在此區間的數據，就被認定為異常數據，予以剔除。正如以上以三倍標準差為界限的判別標準，就是3??原則。 閾值法“閾”就是某個領域或系統的界限或極限的數值，是指一個效應能夠產生的最低值或最高值。簡單地說，在一些不重要的場合或對精度要求不高的時候，只要將控制對象的一些參數限定在某個區間之內，不做精確的處理和控制，即便略有溢出規定區間的數值也不會對整體造成嚴重后果。在閾值控制的系統中，由于多種因素的影響會使被控對象的狀態發生變化，它的某些值常常會超出所規定的閾值區間，此時系統就會利用傳感器進行檢測，在某些值超出規定閾值區間時就會發出信號，再經由執行機構將數據控制在預定區間，在數值剛剛超過上限時，執行機構便啟動，但若在數據剛恢復正常范圍時就關閉執行機構，數據又會再次超出范圍，造成執行機構頻繁地啟動，這樣會增加系統能耗、降低系統效率、縮短設備使用壽命。因此我們要解決這個問題，即使執行機構持續工作，保證被控對象的數值在接近下限的時候再關閉執行機構。智能交通中一些參數不可以超過規定界限，僅可以在其規定范圍內上下浮動。例如：占有率Od，其范圍區間為0≤Od≤100%，如果采集到的數據不在這個范圍內，則被視為異常數據，應予剔除；速度vd，理論上應該大于0，小于道路規定最大速度；流量qd應該大于0，小于道路的極限通行能力。這里所說的閾值法就是限定了數據的極限值，包括最大值與最小值，如果數據不在此范圍內，就被認定是異常數據，應剔除之。閾值法有其自身的優點，容易計算，適用于在線計算，但另一方面，閾值法也只能作為一種基礎的剔除方法，它對于異常數據的處理能力相當有限，即使某些數據并不在閾值區間之外，但這些數據也不一定是正確的，只能剔除掉錯誤得很離譜的數據，我們可以先利用閾值法，再應用其他更精確的算法，這樣可以減少工作量。所以我們建議做精確處理時不單獨使用閾值法，而是結合其他方法，先粗略篩選再作精確處理。 t分布法對同一信號進行反復測量，多數情況下測量數據符合正態分布[18]。如n個采樣值為x1，x2，?，xn，并且它們獨立分布，即X~Nμ?σ2。則樣本的平均值為：X=1ni=1nxi~Nμ,σ2n (34)樣本方差為：S2=1n1i=1nxiX2 (35)根據期望與方差的點估計理論，X是μ的無偏估計值；S2是σ2的無偏估計值，構造統計量：T=XμS2n~tn1 (36)對于給定的α0α1，又因為PXμS2∕n≤tα∕2n1=1α (37)通過查t分布表，得tα∕2n1的值，可得μ的置信度是1α的置信區間，即：Xtα∕2n1s∕n,X+tα∕2n1S∕n (38)對于給定置信度1α0α1，有：Ptα2n1Ttα2n1 (39)=tα/2tα2ft?t=1α 上式中，tα2n1是tn1分布上的α2分位點，可查表得出，可得：Xtα∕2n1nμX+tα∕2n1S∕n (310)而μ落在該區間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發生。因此取δ=tα∕2n1n為臨界值，若xi?=1,2,…,71滿足：xiXδ，則xi可判為含有粗大誤差的數據，應予以剔除，所以，把xiXδ作為新的判別異常數據的判據。基于該方法的剔除步驟如下：(1)將n個測量數據按從小到大的順序排列，最小值為xL，最大值xH；(2)計算出所有測量數據的算術平均值X=1ni=1nxi (311)和測量數據的方差S2=1n1i=1nxiX2 (312)則S=1n1i=1nxiX2 (313)(3)查t分布表得到tα∕2n1。(4)計算tα∕2n1S/n，若xiXδ，則可判定xi為異常數據，應予以剔除，若xiXδ，則此xi就不是異常數據，應予以保留。數據缺失時常發生，其引發原因也有很多，可能是由于檢測設備的故障等等。而數據的缺失會使最終結果造成偏差，因此對于道路交通的數據預處理來說，應該及時對缺失的數據進行補償，一下介紹幾種簡單可行的方法。 依據歷史上相應時刻的數據按比例采用或直接采用歷史數據來代替缺失的數據。這種方法比較簡單、方便，而且易于實現。但對于多變的交通狀況來說，這種方法的精度就會大打折扣。由此可見，歷史均值法適用于交通狀態穩定的情況[19]。 這種方法的主要思想就是將收集到的交通數據作為時間序列，再利用不同的時間序列預測法，例如，簡單平均、加權平均、指數平滑等，由過去到現在的波動趨勢來作為預測的依據，但它有一個要求，就是在未來預測目標的發展規律不會發生太大的變化。數據的變化有著規律性，也有其不規律性。每個時期的數據，都是由很多不同因素同時發生作用的綜合結果。時間序列法簡化了預測對象和各種因素之間的復雜聯系，這種方法在分析現在、過去、未來的聯系，和將來結果與過去多種因素之間的關系時，效果顯著。用這種方法進行數據處理時簡單易行，適應性比較強，是一種常用的缺失數據補充算法。但也有其自身的局限性，這種方法反映了對象單向和線性的聯系，適用于預測穩定且需要在時間方面能夠穩定持續的階段，若進行長期預測，準確性便會降低[20]。算術平均數法：在被測對象的歷史數據增長情況穩定的短期預測。移動平均預測與算術平均法類似，綜合了多個歷史實際數據，求得平均值來預測未來的值，它有一個前提，就是假設平均值中的所有觀察值對將來的影響是相同的，但在實際應用中，觀察值對將來數值的影響是隨著觀察值與預測期之間距離減小而增大的，這也是這種方法的不足之處，還需要一些方法來修正。加權移動平均預測的歷史數據是按照時間順序排列的，不同的數據對預測未來的重要程度不同，所有的數據都會被賦予各自的權重，可以做到精準預測，可知這種方法的思想是認為接近預測時間點的變動對未來預測的影響較大，可見更為合理，但偶爾會在權重的選擇上受到影響。加權移動平均預測是要將采集到的歷史數據按照時間排列，對預測值來說不同的數據會有不同的重要性，把不同的權重分配給所有數據，可以使預測結果更準確，由此可知，這種方法認為越近期的數據對未來的影響越大，也更為合理，但在權重的選擇上需要斟酌[21]。指數平滑是加權平均的一種特殊形式，其給予待預測數據近期的數據更大的權值，權重由遠到近是指數增加的趨勢，指數平滑的名字也正是由此得來。時間序列法比較適用于缺失交通數據的在線補償，只要有足夠的歷史數據，就可以推測出未來數據，這種算法操作簡單、比較可靠，而且運行速度較快，符合交通數據預處理的各方面要求。前面幾種方法都是利用一種算法進行數據補充，而本算法的基本思想是：對于同一組數據進行預處理，可以用多種方法，不同的方法有其各自的優勢與劣勢，這種方法的思想就是將多種方法組合在一起并選擇不同的權值，可以有效改善不同方法的缺點。大量實踐表明，即使在效果一般的模型中，只要將它的獨立信息和一種合適的方法結合在一起，就可以提高結果精度和可靠性。對于多種算法的處理，其中一種方法就是將不同方法的結果進行加權平均，大量實驗表明，通過組合可以提高準確性[22]。由于這種方法需要分別計算不同的算法，計算繁瑣且使用不方便，因此在要求不高的情況下，不建議使用這種方法。本文采用1:1權重計算。判定補償效果優劣的方法為：先刪除錯誤數據，進行補償，運行程序后將所得結果與原數據相比較，通過計算所有數據與原數據的均方差，均方差較小的比較穩定，補償效果好。均方差，即為標準差，標準差是離均差平方和平均后的方根，用σ表示。標準差在概率統計中最常使用作為統計分布程度上的測量。標準差定義是總體各單位標準值與其平均數離差平方的算術平均數的平方根。標準差可以反映數據集的離散程度，標準差越小，說明數據越穩定；反之標準差越大，數據波動越大[23]。假設有一組數值X?，X?，X?……Xn（皆為實數），其平均值（算術平均值）為μ，均方差公式如下：σ=1Ni=1Nxiμ2 (314)4 智能交通系統數據預處理相關算法設計接下來是本文的重點部分，詳細介紹了所選方法的程序、數據結果和方法對比。數據來自交通道路的真實數據，并選取其中五分鐘的交通數據，如下表：表41 原始數據Table 41 Raw data 序號序號123456781355360346358340346345322233332829238922543827831426284327727