本文是一篇科技論文，發表在《指揮信息系統與技術》上，雜志是中國電子科技集團公司第二十八研究所主辦的學術性與技術性綜合科技刊物。主要刊登有關電子信息系統與技術的頂層設計、硬件研制、應用軟件開發和系統集成等方面的理論、技術和應用實踐類的論文。范圍涉及指揮自動化系統、軍航和民航空中交通管理系統、外軍C4ISR系統以及人(民)防應急救援系統、城市及道路交通控制系統等。

　　關鍵詞：科技論文,數據處理,環境監測

　　1監測數據集標準化處理

　　1.1監測任務名稱的標準化處理

　　以目前的全國業務化海洋環境監測任務為基礎，對上報的監測任務進行標準化命名，如海洋生物多樣監測、海洋大氣監測，對不同填報的名稱進行標準化處理。

　　1.2組織單位名稱的標準化處理

　　各地上報的組織單位比較混亂，有的上報了監測機構名稱，有的上報了其隸屬的行政部門名稱，不利于監測任務的考核。根據國家海洋環境監測工作任務以及各海區年度海洋環境監測工作方案，目前組織單位主要包括國家海洋局局屬單位、3個分局、11個沿海省(自治區、直轄市)海洋行政管理部門和5個計劃單列市海洋行政管理部門，如國家海洋環境監測中心、國家海洋局北海分局、遼寧省海洋與漁業廳、大連市海洋與漁業局，對不同填報的組織單位進行標準化處理。

　　1.3監測區域名稱的標準化處理

　　由于各地方上報的監測區域不夠規范，且很難表現出更多的區域信息，同時考慮到區域統計分析，因此需對監測區域進行規范化命名。監測區域命名結構為：沿海地區/海區+沿海城市/特定區域+名稱，其中沿海地區/自然海區和名稱字段不能省略，沿海城市/特定區域字段若無可以省略。如，遼寧葫蘆島赤潮監控區，廣東近岸、福建廈門近岸、東海近海及遠海，對不同填報的監測區域名稱進行標準化處理。

　　1.4監測要素名稱的標準化處理

　　每個監測任務里包含了不同的監測要素，且不同的任務可能會監測相同的要素，因此需對監測要素進行規范命名，以便對相同的要素進行統一分析、數據量統計等。以目前的業務化海洋環境監測要素為基礎，對上報的監測要素進行標準化命名，如水文氣象、海水水質、沉積物質量、浮游植物和浮游動物等，對不同填報的監測要素進行標準化處理。

　　1.5監測參數及單位的標準化處理

　　由于每個監測要素需要監測不同的監測參數，如海水水質需要監測化學需氧量、氨氮和溶解氧等。而每個監測參數的名稱在寫法上有不同的形式，如化學需氧量也可寫為COD，氨氮也可寫為氨-氮或NH4-N等，給數據的統計、評價帶來一定的不便，因此有必要規范不同監測參數的名稱。另外，每個監測要素的單位也需統一規范。如重金屬的鋅元素，有的上報其參數單位為mg/L，有的上報為μg/L。在數據統一進入標準數據庫時，需將單位統一。參照國際標準、國內海洋環境監測調查規范以及各地監測機構的填報習慣等，針對不同的監測任務和監測要素，對每個監測參數的名稱及計量單位進行標準化處理。

　　1.6站位基礎信息的數據類型標準化處理

　　監測數據的類型包括數值型、字符型、布爾型和百分比等。對站位基礎信息如站位編號、經緯度、監測日期、水深和層號等的數據類型進行規范。(1)站位編號。上報的站位編號大部分為字符型，但也有站位編號為1、2、3等，為數據庫的統一管理，需統一轉換為字符型。站位編號不規范主要有以下幾個方面：①站位編號英文大小寫不一致;②監測機構各自命名;③在站位編號上加“臨”“平行樣”和“空白樣”等字樣。參照目前海洋環境監測站位編號規則，由任務編號、海區編號、類別編號和站位序號順次排列組成。對站位進行統一編號。對于歷史站位編號的確認，可通過核查相關的監測數據、核實年度監測方案、聯系地方監測機構等方式，將站位編號統一。(2)站位的經、緯度。上報的經緯度有兩種形式：一個是小數形式，另一個是度分秒形式。為便于計算機的計算方便，目前統一為小數形式。由于經緯度的小數位數不一致，會導致部分空間定位有細微的差別。結合監測任務計劃和實際監測情況，統一經緯度的有效位數，目前保留到小數點后6位。(3)監測日期。上報的監測日期格式不一致，主要形式為：“2011-08-20”“2011/8/20”、或為時間型等。現統一其形式為“2011-8-20”，年份：填滿4位;監測月份：1—12，月信息小于10，前位無需補零。注意檢查，監測年份是否為該年度;月份是否大于12;日期是否在該月的自然日以內。(4)采樣深度與層號。部分地方監測機構在該填報“層號”的地方填寫了采樣深度，同時層號不統一，有的為中文———“表層”“中層”“底層”;有的為英文———“S”“M”“B”。《海洋監測規范》中對水深和相應的采樣層次進行了規范。對層號，統一用英文表示。其中：表層為S;底層為B;若只有一個中層用M表示，若為多個中層，則分別用M1、M2、M3等順延表示。另需檢查層號與層深的匹配情況，若層號為S(表層)，則采樣深度應小于或等于2m;層號為B(底層)，則采樣深度大于3m。部分填報機構填寫層號時，出現表層填寫“B”和底層填寫為“D”的現象，可能是按“表層”和“底層”的首拼音字母填寫造成的。

　　1.7監測參數不規范類型的處理

　　監測參數的不規范類型問題，主要應注意以下幾點。(1)大于號、小于號。某些監測參數如重金屬、大腸桿菌數等，其監測參數值上報中含有大于號或小于號。此類數據通常不影響其評價等級的判定，但會影響該類參數最大值、最小值、均值等統計的結果。可研究該參數的理化性質并聯系地方監測機構，確認該參數的具體值大小。其缺省解決方法是刪除大于號、小于號，以便該參數的統計及評價。(2)未、無、“-”等字樣。結合年度監測任務，聯系地方監測機構，確認該監測參數是未被監測，還是低于檢出限。未監測用空值表示;低于檢出限用“未檢出”表示。(3)空格及其他無效字符。上報的監測數據中常含有空格及其他無效字符，使得計算機在識別、歸類等過程中出現異常。可核查監測數據的內容和性質，確認為無效字符后，對數據值前、后含有的空格或其他無效字符進行刪除處理。對經緯度空缺，可核查相關的原始上報數據集和年度監測工作方案，或聯系地方監測機構;對層號空缺，可根據水深判斷，或聯系地方監測機構補缺;對某些監測參數值空缺，可結合年度監測任務，聯系地方監測機構，確認該監測參數是未被監測，還是低于檢出限，再根據判斷結果給出規范填寫。

　　2監測數據的齊全性檢驗

　　海洋環境監測數據的齊全性檢驗，是以海洋環境監測方案為依據，檢查監測方案中規定的監測數據是否全部上報完整。首先對國家海洋環境監測工作任務以及各海區年度海洋環境監測工作方案進行分析，對監測工作方案進行信息解析，按空間維度、指標維度和時間維度對監測任務進行細化，空間維度包括監測站位、監測區域、管轄區域等，指標維度包括監測參數、監測要素等，時間維度包括監測時間等。其中監測站位、監測參數、監測時間是空間維度、指標維度和時間維度的最小單元，通過對最小單元的數據量統計，可獲得其上一統計單元的數據情況。因此對海洋環境監測方案的解析按監測站位、監測參數和監測時間3個方面進行分解。對照監測方案，檢查接收的數據是否存在區域、站位或頻次等有空缺監測的情況。記錄缺失的原因：可能由于某些緣故未能進行監測、地方調整了監測方案或地方漏報。仔細核查年度監測任務計劃，聯系地方監測機構確認。

　　3站位基礎信息數據質量控制

　　3.1空間位置檢驗

　　空間位置檢驗主要針對調查單位在站位信息匯總過程中可能出現的錄入錯誤。將調查站位經緯度轉換為十進制的單位后，通過利用GIS生成站位圖的方式檢查站位落點所在位置，看其是否落在規定的監測區域，對于斷面上的調查站位，還要檢查其是否明顯偏離斷面沿線。同時還需檢查“相同的站位編號，經緯度不同”和“不同的站位編號，經緯度相同”等數據空間位置精度的問題。對于該類問題，可通過核查相關的監測數據、核對年度監測任務、聯系監測機構確認等方法，予以更正。

　　3.2站位基礎信息一致性的檢測

　　根據站位基礎信息一致性檢驗方法，即監測區域、站位編號、站位經緯度、監測日期等基礎信息決定一條數據記錄，根據不同的監測任務和監測要素，分析站位基礎信息一致性是否符合。針對站位編號和經緯度不一致的情況，從空間位置檢驗是否合理，并核實監測方案進行解決。針對監測日期相同且站位編號相同等情況，判斷兩條記錄的監測參數值是否完全一致，若完全一致則認為是重復記錄;若不完全一致，可認為是平行樣記錄，并進一步核實。

　　3.3數據記錄重復的處理

　　海洋環境監測數據的上報過程中存在很多重復的數據記錄，產生這種重復記錄的主要有如下原因。(1)地方上報數據時，重復上報了監測數據集，如8月份上報了5月份和8月份兩份數據;年底將全年的監測數據再次上報。(2)不同監測機構報送的重復數據，如屬于上下兩級監測機構(省、計劃單列市)重復報送。(3)地方監測機構監測人員填寫報表時，將某些記錄重復填寫。(4)地方監測機構監測人員填寫報表時，將平行樣的數據填寫。(5)數據集合并時，將曾經合并過的數據集再次合并。對于重復的記錄數據，在建立環境監測數據庫中應做剔除處理。

　　3.4平行樣的處理

　　平行樣數據只作為監測數據質量保證的輔助，在實際統計、評價和監測數據時需區別對待。一般來說，只有少數站位上報的數據是平行樣。為了數據量統計、環境質量評價等的需要，對于平行樣的記錄數據，可將監測參數值進行求平均處理。

　　4監測參數數據質量控制

　　4.1值域一致性檢驗

　　在海洋環境監測中，每個監測參數有其對應的經驗值域范圍，通過值域檢測規則對填報的監測數據按不同監測要素分別對每個監測參數值進行檢驗，對于超出值域范圍的值，需進一步分析該區域其他站位、其他頻次、周邊站位的參數值情況，并結合監測任務性質以及超出值域比例，從而判斷該參數值的可靠性。

　　4.2邏輯一致性檢驗

　　某些監測參數間存在一定的邏輯關系，即監測參數與監測參數間存在某種相關關系，有些關系具有一定的規律性，根據邏輯一致性檢驗方法，對于不符合邏輯一致性的監測數據記錄，應進一步同監測機構進行核實。

　　4.3數據輸出

　　對文件進行批量檢驗處理，對于檢驗結果，給出合理且足夠詳細的錯誤提示，并保存質檢日志，使得數據便于修改。為了區別一個數據是否進行了質檢、是否通過質檢，以及了解質檢的情況，需要對質檢過后數據增加一個質量控制符號，簡稱質量符。綜合參考“國標GB/T12460-2006海洋數據應用記錄格式”以及“908海洋化學標準記錄格式”等質量符格式。其中，“908海洋化學標準記錄格式”中質量符2表示可疑傾向正確，3表示可疑傾向錯誤，本研究將這兩者綜合考慮，記為可疑;另外，“908海洋化學標準記錄格式”中質量符8表示痕量，由于與“未檢出”有一定的重疊，因此本研究只采用“未檢出”。表1給出海洋環境監測數據的質量符及說明。一般來說，數值型的監測參數數據，對其質量檢驗出有問題的只能作為“可疑”處理，不宜隨意修改或刪除。除非經過專家經驗檢驗，并經監測單位核實，可明確其為錯誤的，其質量符方可標注為“4”。對于監測站位基礎信息，如監測日期、站位編號、經緯度、層號等，檢驗出有問題的，可根據檢驗情況，標注其質量符為“4”或“3”等。按步驟完成監測數據處理流程后，可分年度或季度對處理的文件形成數據處理報告，并制作經標準化處理和質量控制后的標準數據集。

　　5結束語

　　目前，全國業務化海洋環境監測數據逐年積累，但監測數據的處理尚未有一個通用的、規范化的處理技術流程，給監測數據的處理帶來一定的困難。本研究從海洋環境監測數據管理的角度，以各監測機構上報的海洋環境監測數據為對象，研究了監測數據集的處理技術流程及方法體系。這一處理技術流程及方法體系的推廣將會，進一步規范監測數據的業務化處理流程，大大提高監測數據的處理效率和水平，為海洋環境保護信息化持續健康發展提供高質量的數據保障。