大數據采集的安全與隱私保護需求持續上漲分析

大數據采集的安全與隱私保護需求持續上漲分析大數據采集的安全與隱私保護需求持續上漲近年來，我國大數據的安全與隱私保護需求持續上漲，大數據采集過程中的安全流通和隱私計算技術也愈發得到重視。隨著大數據的不斷發展和應用，越來越多的安全問題隨之浮現。在數據采集過程中，第三方可能在采集傳輸數據過程中截獲、偽造數據，不但造成了用戶隱私、敏感數據泄露的嚴重后果，同時也影響了政府、企業后臺數據分析的準確性。因此，在大數據采集及預處理過程中，除了假流量數據清洗、正常數據補全、無效數據剔除外，還存在數據格式化、數據隔離、數據加密、數據脫敏和攻擊識別等需求。近年來我國網絡安全市場規模持續增長，從2016年的269．5億元增長至2020年的531．9億元，2021年將達到649．7億元，有望帶動大數據采集的安全與隱私保護市場的持續擴容。數據復制軟件的發展階段分析（一）數據復制軟件行業發展第一階段：數據的定時復制早期依托存儲硬件的數據復制是以數據的定時復制為主。該階段數據復制軟件基于存儲硬件而存在，是存儲的重要附加功能，存在備份窗口長、重復數據量大、產品結構單一、缺乏獨立性等缺陷。產品需求以成本低、容量大為主，應用場景包括存儲磁帶庫的數據拷貝、搬遷等。（二）數據復制軟件行業發展第二階段：數據的實時復制數據的實時復制是隨著行業對持續數據保護、容災、備份中心雙活等需求的不斷提升應運而生的。持續數據保護通過將變化的數據實時復制到目標服務器的同時，把數據的變化以日志方式記錄下來，在系統故障時根據日志快速恢復至指定時間點；容災則需要通過數據的實時復制保證兩套或多套IT系統的數據一致性，才能實現故障情況下的切換；備份中心雙活則要求備份IT系統同時承擔業務，對數據復制的實時性提出了更高的要求。（三）數據復制軟件行業發展第三階段：云計算和大數據時代的數據復制隨著云計算和大數據時代的到來，數據復制正在逐步走向下一個階段。云計算具有部署靈活、運維成本低的特點，數據復制的內容開始從本地數據向云端數據，數據復制軟件的產品形態也開始由傳統的軟件向SaaS服務拓展。同時，大數據時代下數據流動性進一步加強，衍生出更多的應用場景。大數據時代下數據復制軟件將起到打破數據孤島的作用，將大量冷數據安全且高效地輸送至大數據平臺，為數據分析提供真實有效的源數據，使數據價值最大化，為數字經濟的發展保駕護航。數據復制技術行業下游催生需求空間數據復制軟件的主要功能是將一組數據從一個數據源拷貝到一個或多個數據源，涵蓋數據的監控、獲取、傳輸、存儲、校驗等步驟。根據獲取數據的層級不同，數據復制軟件也可分為存儲硬件層數據復制軟件、操作系統層數據復制軟件和數據庫層數據復制軟件：存儲硬件層數據復制軟件從存儲設備中直接獲取數據，并將其復制至新的存儲設備；操作系統層數據復制軟件是從操作系統中捕獲數據，并將其復制至新的操作系統；數據庫層數據復制軟件從數據庫捕獲數據，并將其復制至新的數據庫。數據復制軟件經典的應用場景為災備，包括備份和容災，用于保障用戶的數據安全和業務連續性。同時，隨著信息技術的不斷發展，大數據逐漸開始落地應用，數據復制軟件作為數據流通的基礎工具軟件，也越來越多地應用于數據分發、共享、集成、治理等更多大數據領域。數據復制技術行業操作系統層復制技術概況根據數據捕獲環節的不同，操作系統層復制可以分為字節級復制和塊級復制。字節級復制技術是指對生產服務器文件系統的I/O操作信息進行實時捕獲，生成序列化I/O操作日志并發送至目標服務器，操作日志包括I/O操作發生的時間、發起的進程、操作具體針對的文件、文件具體操作的位置以及操作的內容。目標服務器收到I/O操作日志后進行數據的寫入，完成數據復制。該技術具有對計算機資源占用小、復制顆粒度細等優勢，能夠實現高實時性的數據復制，在容災以及持續數據保護領域有較強的優勢。塊級復制技術是指在生產服務器的文件系統之下和磁盤驅動之上的卷層設置驅動模塊，實現磁盤數據變化的捕捉。通過對生產服務器磁盤空間進行劃分，構建磁盤位圖，將發生數據變化的位圖信息發送至目標服務器并與前次位圖信息進行整合，實現數據的復制。和字節級復制相比，塊級復制顆粒度較粗，單次傳輸數據量較大，適用于具有海量文件的文件系統或者非標準化文件系統的場景，在定時備份領域具有較強的優勢。操作系統層復制技術由于不受底層存儲型號的限制，可以實現跨物理、虛擬、云等復雜環境，是第三方數據復制軟件企業主要使用的技術。部分存儲硬件企業在發展過程中，通過不斷收購第三方數據復制軟件企業，也擁有了較成熟的操作系統層復制技術。數據復制技術行業數據庫層復制技術概況數據庫層復制通常采用邏輯復制的方式，將源數據庫中的重做日志和歸檔日志解析出SQL語句后，發送至目標數據庫，在目標數據庫上重做SQL語句實現數據復制。邏輯復制的優點在于可以實現不同品牌數據庫之間的數據復制，且能實現數據庫讀寫分離、多活，適用于各種數據庫數據容災、高可用、讀寫分離等場景。數據復制技術行業發展現狀數據復制技術主要包含了數據抓取、數據傳輸和數據復原三個環節。數據抓取環節主要指對生產端的變化數據進行識別和提取，要求識別顆粒度細且對生產系統影響??；數據傳輸環節主要指對數據進行分段拆分組合、加密、壓縮等，實現準確、高效、安全的數據傳輸；數據復原主要指目標端的數據接收和數據寫入，其核心在于快速寫入的同時，保證數據的一致性。根據獲取數據的層級不同，數據復制軟件可分為存儲硬件層復制、操作系統層復制和數據庫層復制，不同層級的數據復制技術在功能、性能上存在一定的差異，各有特點，適用不同的應用場景。數據復制技術發展趨勢數據復制技術最早是由存儲硬件及數據庫廠商開發，作為其存儲硬件或數據庫軟件的輔助工具，通常與存儲硬件或數據庫綁定，只能用于本公司的存儲硬件或數據庫之間的數據復制。其優點在于對本公司的存儲或數據庫產品的兼容良好、穩定性高、數據復制速度快，但在靈活性和可擴展性。隨著信息技術的發展，各行業信息系統不斷升級和迭代，存儲及數據庫類型多樣化，數據量的提升也帶來了分級存儲、分級備份的需求，與硬件或數據庫綁定的復制技術功能單一、缺乏靈活性等缺點逐漸顯現。軟硬件解耦的數據復制技術可以實現不同存儲硬件、不同數據庫之間的數據復制，在信息系統升級、數據分級存儲等場景下具有較強的優勢，有望成為未來數據復制行業的重要發展方向。同時，在國內信息系統軟硬件安全可信的趨勢下，國產存儲設備和數據庫紛紛涌現，軟硬件解耦的數據復制技術也將在信息系統國產化進程中發揮重要作用，加速國產化進程。云計算相較于傳統IT架構，具有資源配置效率高、運維難度低等優勢。隨著云計算技術和基礎設施的逐步成熟，越來越多的企業開始遷移上云。數據復制技術也從本地數據復制向云端數據復制發展。和本地IT架構不同的是，云計算架構將底層硬件設備虛擬化后形成統一的計算資源、存儲資源和網絡資源，企業在云端的業務系統均統一部署在數據中心的虛擬平臺上，因此云端復制和本地復制相比，傳輸環境存在較大的差異，云端復制的傳輸具有帶寬窄、傳輸不穩定等特點，對復制技術的壓縮能力、斷點續傳能力提出了更高的要求。同時，云端復制還需兼顧數據隱私問題，特別是在公有云的場景下，云供應商有較大的權限，可以對數據進行管理，因此在云端復制場景下，數據的脫敏、加密也是云端復制技術需要考慮的重要問題。大數據平臺是為了滿足大數據的存儲、運算、分析、展現的軟件平臺，主要功能包括數據接入、數據處理、數據存儲、查詢檢索、分析挖掘、數據集成等。大數據平臺擁有特殊的文件系統、數據庫及數據處理模塊，以適配大數據的查詢、存儲和計算。以Hadoop為例，Hadoop平臺采用HDFS分布式文件系統和HBase分布式數據庫，通過Hive數據倉庫進行數據的存儲、查詢和分析，與傳統的數據庫結構存在較大的差別，因此傳統的數據庫數據復制技術無法實現大數據平臺間的數據實時復制，亦無法實現由傳統數據庫向大數據平臺的數據實時復制。隨著大數據技術不斷演進和應用持續深化，以數據為核心的大數據產業生態正在加速構建。大數據平臺作為基礎工具，將隨著大數據行業應用的不斷深化，得到越來越廣泛的應用。同時，傳統數據庫中的數據也將越來越多地匯聚至大數據平臺，進行數據分析挖掘等，以發揮更大地數據價值。因此，大數據平臺實時復制技術是未來數據復制行業的重要發展方向之一。數據復制技術行業整體市場空間廣闊根據IDC2統計，2021年公司產品主要涉及到的災備市場規模為6．01億美元，其中純軟件和一體機市場分別為2．35億美元和3．66億美元，約合人民幣14．80億元、23．06億元3。IDC預測，在2026年，公司產品主要涉及到的災備市場規模將達到12．2億美元，其中純軟件規模將達到5．1億美元，約合人民幣32．1億元。近年來，國內數字經濟蓬勃發展，各行業數字化轉型升級進度加快，數據安全和業務連續性作為數字經濟發展的重要基礎，也得到了越來越多的重視。國家先后頒布了《中華人民共和國網絡安全法》、《中華人民共和國數據安全法》、《關鍵信息基礎設施安全保護條例》等重要法律法規，為數字經濟的發展保駕護航，有望推動數據復制軟件在災備領域的市場空間進一步增長。由于大數據領域是數據復制軟件的一個新興應用方向，目前暫無該細分市場規模的權威數據。從大數據整體市場看，IDC預測2020年中國大數據市場整體規模超過100億美元，市場總量有望在2024年超過200億美元。隨著大數據技術不斷演進和應用持續深化，數據復制軟件作為大數據產業的基礎支撐軟件，在數據匯聚、分發、采集、流通的環節將起到越來越重要的作用，市場規模有望快速增長。隨著互聯網、云計算、大數據等技術地不斷發展，數據量的增長帶來存儲和數據庫技術的變革，對象存儲、云存儲、非