用Python进行数据清洗方式,这几种都很常见!

大家好~我是小刀!

创新互联建站专注于企业营销型网站建设、网站重做改版、金州网站定制设计、自适应品牌网站建设、成都h5网站建设成都做商城网站、集团公司官网建设、成都外贸网站建设公司、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为金州等各大城市提供网站开发制作服务。

在数据分析中,数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大,致使数据不可避免的出现重复、缺失、格式错误等异常数据,如果忽视这些异常数据,可能导致分析结果的准确性。

用以下数据为例,进行讲解数据清洗常用方式:

下面的操作只做示例,具体数据的清洗方式要根据数据特性进行选择!

重复值处理

重复值处理,一般采用直接删除重复值的方式。在pandas中,可以用duplicated函数进行查看和drop_duplicates函数删除重复数据。

如下所示,可以通过duplicated函数查看重复的数据:

需要删除重复值时,可直接用drop_duplicates函数完成:

缺失值处理

缺失值与重复值一样,都是数据中比较常见的问题,必须进行处理才能进行下一步分析,保证分析的准确性。缺失值在数据中一般用NaN表示,在处理缺失值时,一般采用删除和填补方式进行处理。但在实际中,缺失值的处理是一件非常困难的事情,删除和填补方式都无法解决,最后只能留着。

在pandas中,其有多种方式查看和处理缺失值的方法。

查看缺失值

最为基础的可以通过isnull和notnul,或者info函数来实现。

用info函数可以很清楚的知道每一列的缺失值情况,进而做出判断处理:

isnull函数为判断序列元素是否为缺失,notnul函数判断序列元素是否不为缺失,二者在本质上是一样的。而二者在数据量庞大时,效果很差。所以一般不会单独使用,而是配合其它方法进行使用。

查看某列缺失值所在的行:

isnull函数配合sum函数计算每列缺失值的个数:

在多数查看缺失值中,经常会采用计算缺失值在列中占比的方式,判断缺失对数据具有多大的影响,从而选择是删除数据还是填补数据。计算占比可使用以下方式:

 
 
 
 
  1. df.apply(lambda x: x.isnull().sum()/x.size) 

x.size为各个数据列总行数:

缺失值删除

删除缺失值的情形,一般是在不会影响分析结果、造成的影响无伤大雅,或者难以填补的时候采用。

在pandas中,可以直接用dropna函数进行删除所有含有缺失值的行,或者选择性删除含有缺失值到的行:

缺失值填补

在无法直接删除缺失值时,或者包含缺失值的行具有很多而无法选择性删除时,填补是最佳的选择,但填补的方式要根据数据来选择,否则填补的数据依然会影响分析的准确性。

在pandas中,可以使用fillna函数完成对缺失值的填补,例如对表中的体重列进行填补,填补方法为中位数:

或者用平均值填补:

也可以用pandas中的ffill函数对缺失值进行前向填补,但在前向填补时需要注意各个列数据的情况:

但可以看到,体重列的第一行未填补完成,而pandas中提供了bfill函数进行后向填补:

数据类型转换

数据类型关乎后面的数据处理和数据可视化,不同的数据类型处理和进行可视化的用法都不一样,因此,事先把数据的类型转换好,利于后面的相关步骤。

在pandas中,可以用info和dtypes方法进行查看数据类型:

常用的数据类型包括str(字符型)、float(浮点型)和int(整型)。当某列数据的类型出现错误时,可通过astype函数进行强制转换数据类型。例如下面通过astype函数对数值型列转换为字符型:

文本处理

在数据中,文本在某种程度上可以说是最‘脏’的数据,不管在录入的数据,还是爬取的数据,总会出现各种各样的‘脏’数据,处理难度非常高。在处理中,主要是切分字符串、值替换。

pandas提供了df.str.split.str()方法对字符串的切割,以下通过此方法获得地级市名称:

对于一些多数词,可以通过df.str.replace()方法进行增加、替换或者删除:

以上就是本文的全部内容了,如果你喜欢或者对你有帮助,请给我点个赞吧! 

新闻标题:用Python进行数据清洗方式,这几种都很常见!
分享链接:http://www.mswzjz.com/qtweb/news10/185710.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联