在数据分析和可视化的过程中，我们会花费多达60%甚至以上的时间在数据清洗上。

如何把数据改变成我们喜欢的样子，给那些丑数据做美颜，小编将通过这篇文章给大家介绍7步套路。
 

精简概要版

干货说明版

在做数据清洗之前，请先将原始数据留存备份！

当我们拿到一个原始数据表的话，在明确分析目的的基础上，需要将不必要的列隐藏掉，来对整体数据做瘦身。

比如，数据中同时有公司全名和公司简称两个字段信息，但是分析过程中，我们只需要一个字段即可，这是可以隐藏其中一个字段。

这里注意：尽量不去删除数据，而是使用隐藏方式，保持原始数据的完整，方便后续工作。

当存在英文或者不符合阅读习惯的时候，可以对字段名称也就是excel表中的列名进行重命名，以帮助后续分析理解。

对ID唯一列的重复值进行删除，一般可以借助excel功能中的数据-删除重复项。

由于人工录入或者数据爬虫等多方面的原因，会出现缺失值的情况，这就需要我们寻找漏网之“数据”，填充空缺值。

如何统计有多少缺失值？

先看ID唯一列有多少行数据，参考excel右下角的计数功能，对比就可以知道其他列缺失了多少数据。

如何定位到所有缺失值？

Ctrl+G,选择定位条件，然后选择空值

缺失值的处理方法？

第一种：人工补全，适合数据量少的情况；

第二种：删除；

第三种：用平均值代替缺失值；

第四种：用模型计算值来代替缺失值。

数据如果没有统一的标准和命名，将会影响后续分析结果，所以要对其进行一致化处理。

举个简单例子，以下是从拉勾爬取了一些招聘数据，其中薪水这个字段比较特殊，是一个范围，而不是具体数值。

这里要做到整齐划一，就需要借助分列功能对齐进行操作。

现在工作表的后方插入两列，分别命名“最低薪水”和“最高薪水”，然后选中“薪水”列，在excel中选择数据-分列-分隔符号-勾选其他，并在其他后面输入“-”，即可完成。

我们对上述所说的最低薪水和最高薪水取平均值后，再进行由高到低排序，就可以大致看出哪个城市给的薪水比较靠前。

异常值的判别：可以参考之前我们提供的箱线图文章，利用箱线图，可以迅速识别异常值。

对异常值处理，需要具体情况具体分析，一般而言，异常值的处理方法常用有四种：

1.删除含有异常值的记录

2.将异常值视为缺失值，交给缺失值处理方法来处理

3.用平均值来修正

4.不处理

经过上述7个步骤，我们就对原始数据做了清洗、美颜。

接下来就是数据分析和数据可视化的过程了，借助DataHunter，能够助您事半功倍哦！