批量处理

批量清理数据的标准流程:五步走完

·3 分钟
批量清理数据的标准流程:五步走完
本文目录
  1. 第一步:处理空行与空列
  2. 第二步:清掉看不见的空格
  3. 第三步:文本型数字转数值
  4. 第四步:统一日期与百分比格式
  5. 第五步:去重与总量核对
  6. 为什么顺序不能颠倒
  7. 每步都留痕
  8. 把流程做成模板
  9. 避免过度清理
  10. 清理后的归档

从系统或他人手里拿到的数据,很少能直接用来统计。批量清理有一套固定流程,按顺序做既快又不容易漏。

第一步:处理空行与空列

空行会让筛选、排序与统计全部中断。选中整列用定位功能找出空值,确认是否为整行空白后再删除;列的处理同理。删除完成后立刻核对条数,避免误删有效记录,这一步的核对花不了半分钟。

第二步:清掉看不见的空格

单元格内容前后带空格时,查找、去重与匹配都会失败。把空格批量替换为空即可。从网页复制的数据尤其容易出现这个问题,替换完用长度函数抽查几行,确认没有残留。

第三步:文本型数字转数值

左上角带绿色小三角的数字是文本,求和结果为零或合计偏小就是信号。转换方式有两种:分列时把列格式设为常规,或者用数值运算把文本转成数字。转换后确认小数位数与显示格式正确,避免四舍五入出错。

第四步:统一日期与百分比格式

文本日期无法排序与相减,需要先转换成标准日期。百分比统一保留一位小数,金额统一保留两位并加千分位。口径统一之后,汇总与图表才不会出现奇怪读数,也便于与他人核对。

第五步:去重与总量核对

按关键字段去除重复记录,再用计数与合计核对总量。数字对不上时说明前面某一步处理过头了,回到备份重新走一遍对应环节即可,不要在已经清理过的数据上继续修补。

为什么顺序不能颠倒

先去重再清空格,会导致本该合并的记录没被识别;先转格式再删空行,会浪费大量时间处理本来要丢弃的内容。顺序固定下来,清理效率与准确度都会明显提升。

每步都留痕

在表格右侧加一列处理说明,写清哪一列被替换过空格、哪一列做过格式转换、哪一步删过行。用WPS表格做数据清理,这份记录能让同事复核,也能让自己的处理过程可追溯。

把流程做成模板

每月重复的清理任务,可以直接做成模板文件,把公式与规则预置好。下次只粘贴新数据,几十秒就能完成原本半小时的工作,整个过程也更容易保持一致。

避免过度清理

并不是所有数据都需要清理到最规范。只处理实际会影响统计的字段,其余保留原样。过度清理既浪费时间,也可能改变原始信息,尤其是备注与说明类字段。

清理后的归档

原始数据与清理后的数据分别保存,注明处理日期。日后发现口径问题时,可以回到原始数据重新处理,不必重新找来源文件,这一点在跨部门协作中特别重要。