您现在的位置: 首页 > 标签 > 数据处理环境
数据处理环境
数据处理环境
相关文章 : 1篇 浏览 : 13次

本发明提供了一种大数据环境下的数据处理方法,该方法包括:根据文件的操作粒度,将文件分为文件块,物理文件和逻辑文件,并分别定义文件块元数据,物理文件元数据和逻辑文件元数据;将新旧两个版本的文件元数据在服务器端进行比较,通过存储层中文件块对相同数据进行冗余去重,从而在客户端与服务器端执行新旧版本数据的差异化传输.本发明实现了大数据环境下的数据同步,减轻了服务器端计算压力,提高了传输效率和资源利用率.