作為DSMM的開篇交流。今天是從數(shù)據(jù)安全的生命周期階段介紹DSMM的具體內(nèi)容。
一、背景
在DSMM數(shù)據(jù)安全能力成熟度模型總結(jié)與交流一文中介紹了DSMM針對數(shù)據(jù)安全不同生命周期提出了不同的安全要求,數(shù)據(jù)安全生命周期分為采集、傳輸、存儲、處理、交換、銷毀。今天來聊一聊數(shù)據(jù)安全生命周期的第一個(gè)階段——數(shù)據(jù)采集安全。
在上一篇文章中,我們講述了DSMM分為5個(gè)成熟度等級分別為:非正式執(zhí)行、計(jì)劃跟蹤、充分定義、量化控制、持續(xù)優(yōu)化;安全能力的維度包括組織建設(shè)、制度流程、技術(shù)工具、人員能力。我們在落地執(zhí)行的時(shí)候一般按照等級3即充分定義級進(jìn)行相關(guān)的工作,因?yàn)樵诔浞侄x級里面完整的包含了安全能力維度的四個(gè)方面,而等級1和等級2是沒有覆蓋完全的,至于等級4和等級5就是進(jìn)行一些量化細(xì)化和持續(xù)改進(jìn)的,可以在DSMM體系建設(shè)完成后進(jìn)行拔高。每個(gè)過程域都是按照這樣的思路進(jìn)行要求的,所以接下來介紹的數(shù)據(jù)采集安全過程的各過程域都是按照這個(gè)思路進(jìn)行建設(shè)的。
二、定義
數(shù)據(jù)采集安全是數(shù)據(jù)安全生命周期的第一個(gè)過程,是對數(shù)據(jù)來源安全的管理,這是整個(gè)DSMM能夠落實(shí)好的基礎(chǔ)階段,所有的后續(xù)工作都是以此為基礎(chǔ)。所以該階段的重要性不言而喻。該過程包含四個(gè)過程域,分別為:數(shù)據(jù)分類分級、數(shù)據(jù)采集安全管理、數(shù)據(jù)源鑒別及記錄、數(shù)據(jù)質(zhì)量管理。
2.1 數(shù)據(jù)分類分級
官方描述為基于法律法規(guī)以及業(yè)務(wù)需求確定組織機(jī)構(gòu)內(nèi)部的數(shù)據(jù)分類分級方法,對生成或收集的數(shù)據(jù)進(jìn)行分類分級標(biāo)識。
數(shù)據(jù)分類分級是數(shù)據(jù)采集階段的基礎(chǔ)工作,也是整個(gè)數(shù)據(jù)安全生命周期中最基礎(chǔ)的工作,它是數(shù)據(jù)安全防護(hù)和管理中各種策略制定、制度落實(shí)的依據(jù)和附著點(diǎn)。
DSMM標(biāo)準(zhǔn)在充分定義級要求如下:
組織建設(shè):
組織機(jī)構(gòu)設(shè)立負(fù)責(zé)數(shù)據(jù)分類分級工作的管理崗位和人員,主要負(fù)責(zé)定義組織機(jī)構(gòu)整體的數(shù)據(jù)資產(chǎn)分類分級的安全原則以及相關(guān)能力提供。
在DSMM的要求中這個(gè)幾乎都是一樣的,每個(gè)過程域都需要指定專人和專崗負(fù)責(zé)該項(xiàng)工作,并能夠勝任此工作,數(shù)據(jù)分類分級也是這樣的要求。在實(shí)際工作中,可能所有的過程域在這個(gè)維度上都是同樣的一個(gè)或多個(gè)人,可以單獨(dú)任命,也可以在相應(yīng)的制度章節(jié)中進(jìn)行說明。
制度流程:
建立數(shù)據(jù)資產(chǎn)分類分級原則、方法和操作指南。
對組織機(jī)構(gòu)的數(shù)據(jù)資產(chǎn)進(jìn)行分類分級標(biāo)識和管理。
對不同類別和級別的數(shù)據(jù)建立相應(yīng)的訪問控制、數(shù)據(jù)加解密、數(shù)據(jù)脫敏等安全管理和控制措施。
建立數(shù)據(jù)分類分級變更審批流程和機(jī)制,通過該流程保證對數(shù)據(jù)分類分級的變更操作及其結(jié)果符合組織機(jī)構(gòu)的策略要求。
在建立制度流程的時(shí)候,首先應(yīng)要建立組織/公司自己的的數(shù)據(jù)分類分級原則和方法,將數(shù)據(jù)按照重要程度進(jìn)行分類,然后在數(shù)據(jù)分類的基礎(chǔ)上根據(jù)數(shù)據(jù)安全在受到破壞后,對組織造成的影響和損失進(jìn)行分級,如果組織層面已經(jīng)具有相關(guān)的分類分級標(biāo)準(zhǔn),可酌情進(jìn)行參考。在實(shí)際執(zhí)行時(shí)如果一下子做不到完全細(xì)粒度區(qū)分,可以多步實(shí)現(xiàn),循序漸進(jìn),不要設(shè)計(jì)過度復(fù)雜的方案。在進(jìn)行數(shù)據(jù)分類分級后需要有針對性地制定數(shù)據(jù)防護(hù)要求,設(shè)置不同的訪問權(quán)限、對重要數(shù)據(jù)進(jìn)行加密存儲和傳輸、敏感數(shù)據(jù)進(jìn)行脫敏處理、重要操作進(jìn)行審計(jì)記錄和分析等。在進(jìn)行分類分級工作中要明確相關(guān)內(nèi)容和操作流程的審核和審批機(jī)制,保證數(shù)據(jù)分類分級工作符合組織的分類分級原則和制度要求。
技術(shù)工具:
建立數(shù)據(jù)分類分級打標(biāo)或數(shù)據(jù)資產(chǎn)管理工具,實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)的分類分級自動(dòng)標(biāo)識、標(biāo)識結(jié)果發(fā)布、審核等功能。在技術(shù)層面需要建立數(shù)據(jù)管理平臺,按照數(shù)據(jù)分類分級原則和制度要求對數(shù)據(jù)打標(biāo)簽,進(jìn)行數(shù)據(jù)分類和分級區(qū)分,并依據(jù)此設(shè)置訪問控制策略和加解密策略,還要能夠?qū)π略鰯?shù)據(jù)根據(jù)要求進(jìn)行自動(dòng)打標(biāo)簽處理。
人員能力:
負(fù)責(zé)該項(xiàng)工作的人員應(yīng)了解數(shù)據(jù)分類分級的合規(guī)要求、能夠識別哪些數(shù)據(jù)屬于敏感數(shù)據(jù)。
在編制數(shù)據(jù)分類分級的制度時(shí)可以參考以下關(guān)鍵點(diǎn):
下面給出我們在進(jìn)行分類分級時(shí)制定的一個(gè)模板,歡迎提出更好的意見。
2.2 數(shù)據(jù)采集安全管理
官方描述為在采集外部客戶、合作伙伴等相關(guān)方的數(shù)據(jù)的過程中,需明確采集數(shù)據(jù)的目的和用途,確保數(shù)據(jù)源的真實(shí)性、有效性和最少夠用等原則要求,并規(guī)范數(shù)據(jù)采集的渠道、數(shù)據(jù)的格式以及相關(guān)的流程和方式,從而保證數(shù)據(jù)采集的合規(guī)性、正當(dāng)性和執(zhí)行上的一致性,符合相關(guān)法律法規(guī)要求。
數(shù)據(jù)采集過程中涉及包含個(gè)人信息及商業(yè)數(shù)據(jù)在內(nèi)的海量數(shù)據(jù),現(xiàn)今社會(huì)對于個(gè)人信息和商業(yè)秘密的保護(hù)提出了很高的要求,需要防止個(gè)人信息和商業(yè)數(shù)據(jù)濫用,采集過程需要信息主體授權(quán),并應(yīng)當(dāng)依照法律、行政法規(guī)的規(guī)定和與用戶的約定,處理相關(guān)數(shù)據(jù);另外還應(yīng)在滿足相關(guān)法定的規(guī)則的前提下,在數(shù)據(jù)應(yīng)用和數(shù)據(jù)安全保護(hù)見尋找適度的平衡。
DSMM標(biāo)準(zhǔn)在充分定義級要求如下:
組織建設(shè):
成立組織機(jī)構(gòu)的數(shù)據(jù)采集安全合規(guī)管理的實(shí)體/虛擬團(tuán)隊(duì),負(fù)責(zé)制定相關(guān)的數(shù)據(jù)采集安全合規(guī)管理的制度規(guī)范,并推動(dòng)相關(guān)要求、流程的落地。
設(shè)立組織機(jī)構(gòu)的數(shù)據(jù)采集風(fēng)險(xiǎn)評估小組,對具體業(yè)務(wù)場景下的數(shù)據(jù)采集進(jìn)行風(fēng)險(xiǎn)評估并制定改進(jìn)方案,組織機(jī)構(gòu)負(fù)責(zé)數(shù)據(jù)安全合規(guī)的團(tuán)隊(duì)提供對各業(yè)務(wù)團(tuán)隊(duì)風(fēng)險(xiǎn)評估小組工作的咨詢和支持。
數(shù)據(jù)采集安全管理在組織機(jī)構(gòu)設(shè)置方面包括兩部分:數(shù)據(jù)采集安全合規(guī)管理團(tuán)隊(duì)和數(shù)據(jù)采集風(fēng)險(xiǎn)評估團(tuán)隊(duì)。這兩個(gè)團(tuán)隊(duì)分別負(fù)責(zé)制定數(shù)據(jù)采集安全合規(guī)管理制度并落實(shí)和對數(shù)據(jù)采集階段進(jìn)行風(fēng)險(xiǎn)評估。
制度流程:
制定組織機(jī)構(gòu)的數(shù)據(jù)采集原則,定義業(yè)務(wù)場景的數(shù)據(jù)采集流程和方法,明確數(shù)據(jù)采集的目的、方式和范圍。
明確數(shù)據(jù)采集的渠道及外部數(shù)據(jù)源,并對外部數(shù)據(jù)源的合法性進(jìn)行確認(rèn)。
明確數(shù)據(jù)采集范圍、數(shù)量和頻度,確保不收集與提供服務(wù)無關(guān)的個(gè)人信息和重要數(shù)據(jù)。
組織機(jī)構(gòu)內(nèi)建立數(shù)據(jù)采集的風(fēng)險(xiǎn)評估流程,針對采集的數(shù)據(jù)源、制度、渠道、方式、數(shù)據(jù)范圍和類型進(jìn)行風(fēng)險(xiǎn)評估,對涉及采集個(gè)人信息和重要數(shù)據(jù)的業(yè)務(wù)場景進(jìn)行進(jìn)一步合規(guī)評估。
明確數(shù)據(jù)采集過程中個(gè)人信息和和或重要數(shù)據(jù)的知悉范圍和安全控制措施,確保采集過程中的個(gè)人新和中友好數(shù)據(jù)不被泄露。
數(shù)據(jù)采集安全管理的制度規(guī)范需要包含三方面內(nèi)容:一是明確數(shù)據(jù)采集的目的、用途、方式、范圍、渠道等;二是建立數(shù)據(jù)采集的風(fēng)險(xiǎn)評估流程;三是明確數(shù)據(jù)采集過程中的個(gè)人信息和重要數(shù)據(jù)的安全控制措施。
技術(shù)工具:
在涉及數(shù)據(jù)采集的業(yè)務(wù)系統(tǒng)中建立統(tǒng)一、規(guī)范的數(shù)據(jù)采集流程,以保證組織機(jī)構(gòu)數(shù)據(jù)采集流程實(shí)現(xiàn)的一致性,相關(guān)工具應(yīng)具有詳細(xì)的的日志記錄,確保授權(quán)過程的有效記錄。
采取技術(shù)手段保證數(shù)據(jù)采集過程中個(gè)人信息和重要數(shù)據(jù)不被泄露。
詳細(xì)技術(shù)工具實(shí)現(xiàn)在后面落地重點(diǎn)關(guān)注中介紹。
人員能力:
負(fù)責(zé)該項(xiàng)工作的人員能夠充分理解數(shù)據(jù)采集的法律要求、安全和業(yè)務(wù)需求,共能夠根據(jù)組織機(jī)構(gòu)內(nèi)的業(yè)務(wù)場景提出針對性的解決方案。
以下是在數(shù)據(jù)采集安全管理階段具體落地應(yīng)該重點(diǎn)關(guān)注的內(nèi)容:
法律要求
采集的數(shù)據(jù)及采集過程嚴(yán)格按照《網(wǎng)絡(luò)安全法》、《個(gè)人信息安全規(guī)范》等相關(guān)國家法律法規(guī)和行業(yè)規(guī)范執(zhí)行。
基本要求
a) 采集的數(shù)據(jù)信息,包括但不限于數(shù)據(jù)、文本、文件、圖片、音頻和視頻等;
b) 采集數(shù)據(jù)的的傳輸方式,包括但不限于有線通訊傳輸、無線通訊傳輸和數(shù)字通訊傳輸?shù)确绞?
c) 數(shù)據(jù)采集者(信息系統(tǒng)服務(wù)方)應(yīng)設(shè)置專人負(fù)責(zé)信息生產(chǎn)或提供者的數(shù)據(jù)審核和采集工作;
d) 數(shù)據(jù)采集者(信息系統(tǒng)服務(wù)方)應(yīng)明確數(shù)據(jù)來源、采集方式、采集范圍等內(nèi)容,并記錄存檔;
e) 數(shù)據(jù)采集者(信息系統(tǒng)服務(wù)方)應(yīng)制定標(biāo)準(zhǔn)的采集模板、數(shù)據(jù)采集方法、策略和規(guī)范,采集策略參數(shù)配置應(yīng)包括采集周期、有效性、檢測時(shí)間、入口地址和采集深度等;
f) 對于初次采集的數(shù)據(jù),應(yīng)采用人工與技術(shù)相結(jié)合的方式根據(jù)其來源、類型或重要程度進(jìn)行分類;
g) 最小化采集數(shù)據(jù),僅需要完成必須工作即可;
h) 對采集的數(shù)據(jù)進(jìn)行合理化存儲,依據(jù)數(shù)據(jù)的使用狀態(tài)進(jìn)行及時(shí)銷毀處理。
采集方式
數(shù)據(jù)采集包括實(shí)時(shí)監(jiān)測收集(系統(tǒng)運(yùn)行數(shù)據(jù)、威脅數(shù)據(jù)等)和系統(tǒng)生產(chǎn)基礎(chǔ)數(shù)據(jù)(人員信息、財(cái)務(wù)賬單、采購供應(yīng)商等)。可包括手工錄入填報(bào)、權(quán)限獲取、傳感器收集、格式化的數(shù)據(jù)導(dǎo)入及數(shù)據(jù)ETL等。
采集周期
數(shù)據(jù)采集周期分為兩種:
1) 對于實(shí)時(shí)監(jiān)測數(shù)據(jù),采集周期應(yīng)按照實(shí)際工作條件下,系統(tǒng)連續(xù)進(jìn)行10次采集,10次采集時(shí)間的平均值作為系統(tǒng)的數(shù)據(jù)采集周期;
2) 對于系統(tǒng)生產(chǎn)基礎(chǔ)數(shù)據(jù)采用固定期限加動(dòng)態(tài)調(diào)整。變化不大的數(shù)據(jù)信息采集周期為6個(gè)月,涉及數(shù)據(jù)信息變動(dòng)的調(diào)整的可根據(jù)需要?jiǎng)討B(tài)調(diào)整。
技術(shù)工具
1) 加密:在數(shù)據(jù)采集前端和采集傳輸路徑安全方面,至少對秘密級以上數(shù)據(jù)采用加密措施,包括但不限于采集程序本身的加密(如DES、3DES)、傳輸過程加密(SSL)、網(wǎng)絡(luò)層加密(VPN)、鏈路加密(專線)等方式;
2) 完整性:在數(shù)據(jù)采集前后采取校驗(yàn)碼等技術(shù)對數(shù)據(jù)完整性進(jìn)行校驗(yàn),包括但不限于:數(shù)字簽名、Hash算法校驗(yàn)、文件大小比對、人工復(fù)驗(yàn)等方式;
3) 匿名:對采集數(shù)據(jù)在采集和傳輸過程及存儲過程中涉及展示的情景下,對數(shù)據(jù)進(jìn)行脫敏和匿名模糊,包括但不限于數(shù)據(jù)信息替換、數(shù)據(jù)內(nèi)容截取、模糊處理等方式;
4) 審計(jì)日志:數(shù)據(jù)從采集開始的整個(gè)過程,提供所有采集操作的日志記錄,日志記錄內(nèi)容包括但不限于日期、時(shí)間、操作類型(動(dòng)作)、主體(操作者)、客體(被操作對象)、狀態(tài)等;
5) 斷網(wǎng)自動(dòng)保護(hù):在進(jìn)行采集的過程中,如遇網(wǎng)絡(luò)中斷,需將已采集的數(shù)據(jù)緩存在采集前端設(shè)備,保證15天內(nèi)繼續(xù)對數(shù)據(jù)進(jìn)行采集且系統(tǒng)不丟失數(shù)據(jù),待網(wǎng)絡(luò)恢復(fù)后自動(dòng)續(xù)傳采集的數(shù)據(jù)。
風(fēng)險(xiǎn)評估
在對數(shù)據(jù)進(jìn)行采集的過程中,應(yīng)組織風(fēng)險(xiǎn)評估小組,對采集過程進(jìn)行風(fēng)險(xiǎn)評估,評估內(nèi)容包括但不限于:
a) 采集過程是否合規(guī):是否有采集負(fù)責(zé)人進(jìn)行審核等相關(guān)采集操作、采集的數(shù)據(jù)是否最小化、采集等;
b) 采集過程過程安全要求:是否采用了加密、完整性校驗(yàn)、匿名、日志和斷網(wǎng)保護(hù)等措施;
c) 采集其他相關(guān)工作。
2.3 數(shù)據(jù)源鑒別及記錄
官方定義為對產(chǎn)生的數(shù)據(jù)源進(jìn)行身份鑒別和記錄,防止數(shù)據(jù)仿冒和偽造。數(shù)據(jù)源鑒別是指對收集或產(chǎn)生數(shù)據(jù)的來源進(jìn)行身份識別的一種安全機(jī)制,防止采集到其它不被認(rèn)可的或非法數(shù)據(jù)源(如機(jī)器人信息注冊等)產(chǎn)生的數(shù)據(jù),避免采集到錯(cuò)誤的或失真的數(shù)據(jù);數(shù)據(jù)源記錄是指對采集的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)來源的的標(biāo)識,以便在必要時(shí)對數(shù)據(jù)源進(jìn)行追蹤和溯源。
DSMM標(biāo)準(zhǔn)在充分定義級要求如下:
組織建設(shè):
組織機(jī)構(gòu)具有負(fù)責(zé)數(shù)據(jù)源追溯的團(tuán)隊(duì)或人員,提供組織機(jī)構(gòu)統(tǒng)一的數(shù)據(jù)源管理策略和方案。
在DSMM的要求中這個(gè)幾乎都是一樣的,每個(gè)過程域都需要指定專人和專崗負(fù)責(zé)該項(xiàng)工作,并能夠勝任此工作,數(shù)據(jù)源鑒別及記錄亦如是。在實(shí)際工作中,可能所有的過程域在這個(gè)維度上都是同樣的一個(gè)或多個(gè)人,可以單獨(dú)任命,也可以在相應(yīng)的制度章節(jié)中進(jìn)行說明。
制度流程:
制定數(shù)據(jù)源管理的制度規(guī)范,定義數(shù)據(jù)溯源策略、溯源數(shù)據(jù)表達(dá)方式和格式規(guī)范、溯源數(shù)據(jù)安全存儲與適用的管理制度等,明確要求對核心業(yè)務(wù)流程的相關(guān)數(shù)據(jù)源進(jìn)行鑒別和記錄。
數(shù)據(jù)源管理制度規(guī)范需要包含兩方面的內(nèi)容:一是要對數(shù)據(jù)采集來源的管理,包括采集源識別和管理、采集源的安全認(rèn)證機(jī)制、采集源安全管理要求等內(nèi)容;二是對針對采集的數(shù)據(jù)在數(shù)據(jù)生命周期過程中進(jìn)行數(shù)據(jù)溯源的管理,把數(shù)據(jù)流路徑上的每次變化情況保留日志記錄,保證結(jié)果的可追溯,以及數(shù)據(jù)的恢復(fù)、重播、審計(jì)和評估等功能。總結(jié)為“對來源認(rèn)證,對變化溯源”
技術(shù)工具:
采取技術(shù)手段對外部收集的數(shù)據(jù)和數(shù)據(jù)源進(jìn)行識別和記錄,即通過數(shù)據(jù)溯源的機(jī)制,保證數(shù)據(jù)管理人員能夠追蹤與其加工和計(jì)算數(shù)據(jù)相關(guān)的數(shù)據(jù)源。
對關(guān)鍵溯源數(shù)據(jù)進(jìn)行備份,并采取技術(shù)手段對溯源數(shù)據(jù)進(jìn)行安全保護(hù)。
具體的技術(shù)手段措施在后面落地重點(diǎn)關(guān)注中介紹。
人員能力:
負(fù)責(zé)該項(xiàng)工作的人員應(yīng)理解數(shù)據(jù)源鑒別鑒別標(biāo)準(zhǔn)和組織機(jī)構(gòu)內(nèi)部數(shù)據(jù)采集的業(yè)務(wù)場景,能夠結(jié)合實(shí)際情況執(zhí)行。
以下為在數(shù)據(jù)源鑒別和記錄階段實(shí)際落地應(yīng)重點(diǎn)關(guān)注的內(nèi)容:
1) 在進(jìn)行數(shù)據(jù)采集時(shí),需要專人或?qū)iT團(tuán)隊(duì)對數(shù)據(jù)源進(jìn)行鑒別和溯源管理,提供數(shù)據(jù)源管理策略和方案。
2) 在進(jìn)行數(shù)據(jù)采集時(shí),需要對數(shù)據(jù)采集源進(jìn)行識別和標(biāo)識。可采取數(shù)據(jù)標(biāo)簽的形式,確保數(shù)據(jù)唯一性。
3) 在進(jìn)行數(shù)據(jù)采集時(shí),需要對數(shù)據(jù)采集源進(jìn)行身份鑒別,防止數(shù)據(jù)源假冒和偽造。包括但不限于使用用戶名/口令認(rèn)證、指紋識別、人臉識別、動(dòng)態(tài)口令卡、短信(語音)驗(yàn)證碼、USB-Key等鑒別方式。
4) 在數(shù)據(jù)生命周期整個(gè)過程中,需要對采集的數(shù)據(jù)進(jìn)行溯源管理,將數(shù)據(jù)每次操作前后的情況和狀態(tài)進(jìn)行日志記錄和保存,以便對數(shù)據(jù)進(jìn)行溯源。可采用源數(shù)據(jù)管理系統(tǒng)Apache Atlas、數(shù)據(jù)血緣管理工具Cloudera Navigator Data Management等。
5) 在對溯源數(shù)據(jù)進(jìn)行傳輸和存儲時(shí),需要采取加密和完整性校驗(yàn)技術(shù)保證數(shù)據(jù)安全。包括但不限于SSL、VPN、MD5、RSA、RC4等。
6) 在溯源數(shù)據(jù)過程中,需要對關(guān)鍵溯源數(shù)據(jù)進(jìn)行備份,并采取加密和完整性校驗(yàn)技術(shù)進(jìn)行安全保護(hù)。
2.4 數(shù)據(jù)質(zhì)量管理
官方描述為建立組織機(jī)構(gòu)的數(shù)據(jù)質(zhì)量管理體系,保證對數(shù)據(jù)采集過程中收集/產(chǎn)生的數(shù)據(jù)的準(zhǔn)確性、一致性和完整性。
數(shù)據(jù)安全保護(hù)的對象是有價(jià)值的數(shù)據(jù),而有價(jià)值的前提是數(shù)據(jù)質(zhì)量要有保證,所以必須要有數(shù)據(jù)質(zhì)量相關(guān)的管理體系。目的是保證對數(shù)據(jù)采集過程中收集和產(chǎn)生的數(shù)據(jù)的準(zhǔn)確性、一致性和完整性。
DSMM標(biāo)準(zhǔn)在充分定義級要求如下:
組織建設(shè):
組織機(jī)構(gòu)設(shè)立數(shù)據(jù)質(zhì)量管理崗位和人員,負(fù)責(zé)制定統(tǒng)一的數(shù)據(jù)質(zhì)量管理規(guī)范,明確對數(shù)據(jù)質(zhì)量進(jìn)行管理和監(jiān)控的責(zé)任部門或人員。
在DSMM的要求中這個(gè)幾乎都是一樣的,每個(gè)過程域都需要指定專人和專崗負(fù)責(zé)該項(xiàng)工作,并能夠勝任此工作,數(shù)據(jù)質(zhì)量管理亦如是。在實(shí)際工作中,可能所有的過程域在這個(gè)維度上都是同樣的一個(gè)或多個(gè)人,可以單獨(dú)任命,也可以在相應(yīng)的制度章節(jié)中進(jìn)行說明。
制度流程:
制定數(shù)據(jù)質(zhì)量管理規(guī)范,包含數(shù)據(jù)格式要求、數(shù)據(jù)完整性要求、數(shù)據(jù)質(zhì)量要求、數(shù)據(jù)源源質(zhì)量評價(jià)標(biāo)準(zhǔn),以及對異常事件處理的流程和操作規(guī)范。
建立數(shù)據(jù)采集過程中質(zhì)量監(jiān)控規(guī)則,明確數(shù)據(jù)數(shù)據(jù)質(zhì)量監(jiān)控范圍及監(jiān)控方式。
在數(shù)據(jù)質(zhì)量管理制度中需要定義什么是“數(shù)據(jù)質(zhì)量”,數(shù)據(jù)質(zhì)量的屬性一般包括一致性、完整性、準(zhǔn)確性和失效性等;要明確數(shù)據(jù)質(zhì)量的校驗(yàn)方法,比如校驗(yàn)的層次(人工比對、程序比對、統(tǒng)計(jì)分析等)和校驗(yàn)方法(時(shí)效性、完整性、原則性、邏輯性等);定義數(shù)據(jù)質(zhì)量管理實(shí)施流程,比如在產(chǎn)品研制中植入數(shù)據(jù)質(zhì)量控制手段、涉及需求、系統(tǒng)設(shè)計(jì)、開發(fā)、測試、發(fā)布與運(yùn)維;制定數(shù)據(jù)采集質(zhì)量管理規(guī)范,包含數(shù)據(jù)格式要求、數(shù)據(jù)數(shù)據(jù)完整性要求、數(shù)據(jù)質(zhì)量要素、數(shù)據(jù)源質(zhì)量評價(jià)標(biāo)準(zhǔn)等;
技術(shù)工具:
利用技術(shù)工具實(shí)現(xiàn)對關(guān)鍵數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量管理和監(jiān)控,實(shí)現(xiàn)異常數(shù)據(jù)及時(shí)告警或更正。
在進(jìn)行數(shù)據(jù)質(zhì)量管理方面需要的技術(shù)工具應(yīng)包括以下內(nèi)容:一是對數(shù)據(jù)資產(chǎn)進(jìn)行分類和等級劃分,這個(gè)在數(shù)據(jù)分類分級中已有更好的定義和介紹;二是對在線數(shù)據(jù)的質(zhì)量監(jiān)控,比如針對業(yè)務(wù)數(shù)據(jù)庫實(shí)時(shí)產(chǎn)生的數(shù)據(jù),這就要求需要對業(yè)務(wù)數(shù)據(jù)進(jìn)行定義并對流程進(jìn)行改造實(shí)現(xiàn)實(shí)時(shí)監(jiān)控;三是離線數(shù)據(jù)質(zhì)量監(jiān)控,比如針對數(shù)據(jù)倉庫或數(shù)據(jù)開發(fā)平臺的離線數(shù)據(jù);四是提供數(shù)據(jù)質(zhì)量事件的處理流程,一旦發(fā)現(xiàn)數(shù)據(jù)質(zhì)量異常及時(shí)進(jìn)行告警和上報(bào),積極采取糾正措施。
人員能力:
負(fù)責(zé)該項(xiàng)工作的人員對數(shù)據(jù)質(zhì)量管理規(guī)范有一致性理解,能夠基于組織機(jī)構(gòu)的實(shí)際數(shù)據(jù)質(zhì)量管理需求開展相關(guān)工作。
以下是在數(shù)據(jù)質(zhì)量管理階段實(shí)際落地中應(yīng)該重點(diǎn)關(guān)注的內(nèi)容:
1) 對數(shù)據(jù)質(zhì)量進(jìn)行管理要貫穿數(shù)據(jù)全生命生命周期。
2) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要設(shè)置專門的崗位和人員,負(fù)責(zé)制定數(shù)據(jù)質(zhì)量管理規(guī)范及對數(shù)據(jù)質(zhì)量進(jìn)行管理和監(jiān)控。
3) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)完整性進(jìn)行定義和監(jiān)控。如人員信息要完整覆蓋姓名、性別、年齡等,保證沒有遺漏。
4) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)規(guī)范性進(jìn)行定義和監(jiān)控。如日期信息都以yyyy-mm-dd格式存儲,保證數(shù)據(jù)規(guī)范統(tǒng)一。
5) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)一致性進(jìn)行管理和監(jiān)控。如同一個(gè)人的性別信息在從不同的數(shù)據(jù)庫表中取過來應(yīng)該是一致的。
6) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)準(zhǔn)確性進(jìn)行定義和監(jiān)控。如人員信息的年齡應(yīng)該在0-120.超出此范圍即為不合理不準(zhǔn)確。
7) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)唯一性進(jìn)行管理和監(jiān)控。如同一個(gè)ID應(yīng)該沒有重復(fù)記錄,確保數(shù)據(jù)唯一不重復(fù)。
8) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要對數(shù)據(jù)關(guān)聯(lián)性進(jìn)行管理和監(jiān)控。如兩張數(shù)據(jù)庫表建立的關(guān)聯(lián)關(guān)系存在,不丟失數(shù)據(jù)。
9) 對采集數(shù)據(jù)進(jìn)行管理時(shí),應(yīng)盡量避免用戶自己輸入,盡量提供選擇,設(shè)定字典表。如人員性別設(shè)置男、女選擇菜單等。
10) 對數(shù)據(jù)質(zhì)量進(jìn)行管理時(shí),需要設(shè)置數(shù)據(jù)質(zhì)量校驗(yàn)和監(jiān)控方法。如人工比對、程序比對、統(tǒng)計(jì)分析等。
11) 對數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控時(shí),需要設(shè)置數(shù)據(jù)質(zhì)量異常上報(bào)流程。如監(jiān)控發(fā)現(xiàn)-上報(bào)-評估-更正-監(jiān)控。
三、總結(jié)
雖然在文中,很多制度和技術(shù)工具是分開敘述,但是在實(shí)際工作中可能是混在一起的,同時(shí)很多具體實(shí)現(xiàn)的部分不僅僅只是應(yīng)用在一個(gè)過程域或者一個(gè)生命周期階段,甚至可以應(yīng)用在整個(gè)生命周期過程中。比如要求對重要或敏感數(shù)據(jù)進(jìn)行加密存儲和傳輸,在生命周期各階段都適用,可以一勞永逸。
以上就是DSMM對于數(shù)據(jù)生命周期第一階段數(shù)據(jù)采集安全過程的要求以及我們在進(jìn)行實(shí)際落地執(zhí)行過程中的一點(diǎn)心得和體會(huì),希望能夠給有真正有DSMM需求的組織和人員帶來一點(diǎn)兒啟發(fā),也希望對DSMM感興趣的小伙伴一起來交流,并給出一些意見,共同將DSMM做的更好。
怎樣辦理AAA級信用企業(yè)等級證書辦理需要多久車輛買賣合同糾紛判決書不當(dāng)?shù)美刑幮淌仑?zé)任多久實(shí)驗(yàn)室常用多種緩沖液配置方案審核設(shè)備管理過程基本的節(jié)點(diǎn)有確認(rèn)勞動(dòng)合同無效的途徑有哪些構(gòu)成盜掘古人類化石罪需要滿足什么條件?做團(tuán)體標(biāo)準(zhǔn)認(rèn)定需要些什么材料?參與認(rèn)定的好處