123,123

数据质量高效校验方法研究

网络安全与数据治理

程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1

1.中国民航信息网络股份有限公司重庆分公司; 2.中国民航信息网络股份有限公司

摘要： 数据质量监控是数据处理领域的重要挑战。提出了一种创新方法，通过规则配置高效生成数据质量验证规则与告警策略，并在单一SQL查询中实现多指标并发校验，显著提升了校验效率。详细阐述了技术方案设计原理并做了性能对比实验：数据处理速度提升10~20倍,规则配置效率提升4~5倍，实际应用中的资源消耗指标(CPU、内存）与传统解决方案基本一致，准确率仍保持在99.99%，为大数据环境下的数据质量管理提供了可量化的参考实践。

關(guān)鍵詞： 大数据数据治理数据质量数据清洗数据质量监控

中圖分類(lèi)號(hào)：TP311.13;F562文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2025.10.012
引用格式：程勝,郜美華,冉瑛,等. 數(shù)據(jù)質(zhì)量高效校驗(yàn)方法研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（10）：75-79.

Research on efficient data quality validation methods

Cheng Sheng1，Gao Meihua 2，Ran Ying1，Qiao Yujie2，Huang Peng1

1. Travelsky Technology Limited Chongqing Branch; 2. Travelsky Technology Limited

Abstract： Data quality monitoring is a critical challenge in data processing. This study proposed an innovative method that efficiently generates data quality validation rules and alert strategies through rule configuration, and implements multiindicator concurrent validation in a single SQL query, significantly improving validation efficiency. The design principle of the technical solution was elaborated in detail and performance comparison experiments were conducted. Experimental results demonstrated that the solution improves data processing speed by 10~20 times, rule configuration efficiency by 4~5 times, while maintaining resource consumption (CPU, memory) at levels comparable to traditional solutions, with an accuracy rate of 99.99%. This study provides a quantifiable reference practice for data quality management in big data environments.

Key words : big data; data governance; data quality; data cleaning; data quality monitoring

引言

民航局2022年印發(fā)《關(guān)于民航大數(shù)據(jù)建設(shè)發(fā)展的指導(dǎo)意見(jiàn)》［1］，明確要求加強(qiáng)數(shù)據(jù)質(zhì)量管理。航信作為民航數(shù)據(jù)服務(wù)的主要提供商，其數(shù)據(jù)質(zhì)量直接影響航空安全與運(yùn)營(yíng)效率。

根據(jù)國(guó)際數(shù)據(jù)治理協(xié)會(huì)統(tǒng)計(jì)［2］，數(shù)據(jù)質(zhì)量問(wèn)題導(dǎo)致企業(yè)平均每年損失15%~25%的營(yíng)收。傳統(tǒng)數(shù)據(jù)質(zhì)量工具(如Apache Griffin)存在配置復(fù)雜(平均每個(gè)規(guī)則需4~6步操作)、執(zhí)行效率低(單指標(biāo)獨(dú)立SQL查詢(xún))等問(wèn)題。本研究通過(guò)實(shí)證分析，提出了一種優(yōu)化方案，經(jīng)生產(chǎn)環(huán)境驗(yàn)證，配置效率可提升5倍(從平均15 min/規(guī)則降至3 min/規(guī)則)，執(zhí)行速度提升8~10倍(多指標(biāo)合并查詢(xún)減少I(mǎi)/O開(kāi)銷(xiāo))。

本文詳細(xì)內(nèi)容請(qǐng)下載：

http://ihrv.cn/resource/share/2000006830

作者信息：

程勝1,郜美華2,冉瑛1,喬玉潔2,黃鵬1

(1.中國(guó)民航信息網(wǎng)絡(luò)股份有限公司重慶分公司,重慶401120;

2.中國(guó)民航信息網(wǎng)絡(luò)股份有限公司,北京101300)

原創(chuàng)聲明：此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容