3.1 大数据预处理方法

由于数据源的多样性，数据集受干扰、冗余和一致性因素的影响而具有不同的质量。从需求的角度出发，一些数据分析工具和应用对数据质量有着严格的要求。因此在大数据系统中需要采用数据预处理技术以提高数据的质量。