數據采集自動化處理與數據挖掘-資料下載頁

　　

【正文】 m l F o r m a t ) i n t e r f a c e I P a r s e rM a t r i x F o r m a t P a r s e r X m l F o r m a t P a r s e r S p e c i a l F o r m a t P a r s e r+ G e t P a r s e r ( )P a r s e r F a c t o r y171。 u s e s 187。171。 u s e s 187。171。 u s e s 187。 d a t a t y p e F i l e F o r m a t ( A l c o r i a n c l a s s )+ P r o c e s s ( i n f i l e ) ( )A b s t r a c t P a r s e r+ P r o c e s s ( i n f i l e )+ C o n v e r t E x c e l T o C S V ( )+ G e n e r a t e I n v a l i d F i l e ( )+ G e n e r a t e V a l i d X m l F i l e ( )+ G e t P r o v i d e r R a w F i l e B y F i l e I d ( ) u t i l i t y F i l e U t i l i t y+ U p d a t e S t a t u s T a b l e ( )+ C o n v e r t E x c e l T o C S V ( ) d a t a t y p e I m p o r t X m l ( A l c o r i a n c l a s s )P a r s e r C l a s s D i a g r a m M a i n ( i n a r g s : s t r i n g [ ] ) R u n ( )P a r s e r M a i n s t a t u s n u m F a i l e d n u m S u c c e s s f u lP a r s e r R e s u l t+ G e t N e x t P a r s e F i l e ( )+ U p d a t e P a r s e F i l e S t a t u s ( )+ D e l i v e r y I d+ D o w n l o a d e d F i l e N a m e+ D o w n l o a d e d F i l e F o l d e r+ D o w n l o a d e d F i l e F u l l N a m e+ P a r s e d F i l e N a m e+ P a r s e d F i l e F o l d e r+ P a r s e d F i l e F u l l N a m eP e r f o r m a n c e F i l e ( A l c o r i a n c l a s s )+ G e t C u r r e n t F i l e F o r m a t B y D e l i v e r y I d ( )P r o v i d e r D e l i v e r y ( A l c o r i a n c l a s s )+ P r o c e s s ( ) i n t e r f a c e I F i l e P a r s e rT x t F i l e P a r s e r X l s F i l e P a r s e r I s H e a d L i n e ( ) I s E n d L i n e ( ) R e a d L i n e ( ) P a r s e L i n e ( )B a s e F i l e P a r s e r圖 Parser 設計類圖25 / 49 功能實現此模塊采用的 XML schema 圖 ，程序根據這個 schema 來處理各種各樣的文件，這個 xchema 在這個模塊里叫做 File Format .圖 Parser 的 schema 文件26 / 49File Format 分為三種，分別為 Matrix Format, XML Format, Special Format.Matrix Format: Delimiter 指的是文件中一行數據的分隔符。ColumnRegex 指的是一行數據的正則表達式。MinPercentageOfParsed 指的是最低通過率。Orientation 指的是文件的方向，例如 excel 有的方向不同DecimalPoint 指的是數字的分隔符。StartLineNo 指的是文件數據的起始行。SheetIndex 指的是 excel 文件的 sheet。EndLine 指的是文件數據結束的最大空行算結束。DataPointId 指的是數據點的名稱。DataFormat 指的是數據點的格式，例如時間的格式。XMLFormat: XSLTFilePath 指的是路徑。SpecialFormat: Name 指的是特殊文件的名字。此模塊完成的功能 :1. 實現了將 Excel 文件轉換為 clean file (即轉換完格式的文件) 。2. 實現了將 Txt 文件轉換為 clean file。3. 實現了將 Xml 文件轉換為 clean file。4. 實現了將各種 Special 文件轉換為 clean file。 27 / 49 模塊 主要處理流程L o a d D a t a p o i n t X P a t h C o n f i g (O u t p u t N o d e ) w h i c h i s u s e d f o r m a p p i n g d a t a p o i n t sU p d a t e f i l e s t a t u sI t e r a t e t o o p e r a t e r e c o r d ( G e t r e c o r d w i t h ‘ E x t e r n a l I d ’ X P a t h )U p d a t e P r o v i d e r C l a s sy e sE n dI m p o r t e r M a p p i n gD a t a F l o wR u nP e r f o r m a n c e F i l e S t a t u sS t a t u s : P a r s e d D o n eU p d a t e f i l e s t a t u sP r o v i d e r C l a s sS t a t u s : I m p o r t i n gG e t b u l k m a p p i n g f i l e s i z e f r o m A p p c o n f i gG e t t h e P r o v i d e r I d f r o m f i l eF i l e s e r v e ry e sI f t h e r e c o r d d o e s n ’ t e x i s t , a d d i tI t e r a t e t o o p e r a t e d a t a p o i n t G e t d a t a p o i n t v a l u e a c c o r d i n g t o D a t a p o i n t X P a t h C o nf i g A d d d a t a t o o r d i n a r y d a t a g r o u p c o n t a i n e rA c c o r d i n g P e r f o r m a n c e I d i s e x i s ty e sC a c h e p e r f o r m a n c e I d f o r t h i s r e c o r e dn oP e r f o r m a n c e I d i s a f l a g f o r m a t c h e d o r u n m a t c h e dD o e s t h e r e c o r d m a t c h e d a c c o r d i n g t o p e r f o r m a n c e I dy e sA d d d a t a t o o r p h a n d a t a g r o u p c o n t a i n e rn oS t a t u s : I m p o r t D o n eD o e s l o a d f i l e s u c c e s s f u l ?C a l l o r p h a n d a t a g r o u p c o n t a i n e r ’ s s a v e R a w D a t a : O p h a nS a v e S u c c e s s ?C a l l o r d i n a r y d a t a g r o u p c o n t a i n e r ’ s s a v eR o w D a t a : F a i l u r en oN oS t a t u s : I m p o r t F a i l u r eI t e r a t e t o G e t f i l e i n f o f r o m d a t a b a s e b y s t a t u s a n d p r i o r i t yI s d e l i v e r y b u l k m a p p i n g f l a g t r u eP r o v e r d e r D e l i v e r yy e sC a c h e p r o v i d e r ’ s a l l m a p p i n g i n f o w i t h P r o v i d e r I d , a n d C a c h e b e g i n n i n g t i m eE x t e n e r a l I d P e r f o rm a n c e I d M a p p i n gn oG e t f i l e s e r v e r i n f o f r o m A p p c o n f i gF i l e s i z e b u l k m a p p i n g f i l e s i z e f i l e s i z e s e t t i n gy e sn oP r o v i d e r C l a s s i s e x i s t i n d a t a b a s ey e sI n s e r t P r o v i d e r C l a s sn oG e t p r i o r i t y s e t t i n g f o r t h i s p r o c e s s f r o m a p p c o n f i gT h r o u g h P r o v i d e r I d amp。E x t e r n a l I d .G e t f r o m d a t a b a s e a c c o r d i n g t o P e r f o r m a n c e I dH a v e c a c h e d p r o v i d e r ’ s a l l m a p p i n g i n f o ?y e sC a c h e t i m e b e f o r e 3 0 m i n u t e sy e sR e f r e s h a l l n e v e r u s e d m a p p i n g i n f o i n c a c h e amp。 C a c h e t i m eU p d a t e p r i o r i t y t a b l e a c t i v e f l a gb u l k m a p p i n g f i l e s i z e i s a v a l u e w h e t h e r g e t a l l m a p p i n g i n f o f o r p r o v i d e r o r n o t D a t a P