少有人知的Python数据科学库

 Python是门很神奇的语言,历经时间和实践检验,受到开发者和数据科学家一致好评,目前已经是全世界发展***的编程语言之一。简单易用,完整而庞大的第三方库生态圈,使得Python成为编程小白和高级工程师的***。

成都创新互联公司是一家专业从事网站设计制作、成都网站制作、网页设计的品牌网络公司。如今是成都地区具影响力的网站设计公司,作为专业的成都网站建设公司,成都创新互联公司依托强大的技术实力、以及多年的网站运营经验,为您提供专业的成都网站建设、营销型网站建设及网站设计开发服务!

在本文中,我们会分享不同于市面上的python数据科学库(如numpy、padnas、scikit-learn、matplotlib等),尽管这些库很棒,但是其他还有一些不为人知,但同样优秀的库需要我们去探索去学习。

1. Wget

从网络上获取数据被认为是数据科学家的必备基本技能,而Wget是一套非交互的基于命令行的文件下载库。ta支持HTTP、HTTPS和FTP协议,也支持使用IP代理。因为ta是非交互的,即使用户未登录,ta也可以在后台运行。所以下次如果你想从网络上下载一个页面,Wget可以帮到你哦。

安装

 
 
 
 
  1. pip isntall wget 

用例

 
 
 
 
  1. import wget 
  2.  
  3. url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3' 
  4.  
  5. filename = wget.download(url) 

Run and output

 
 
 
 
  1. 100% [................................................] 3841532 / 3841532 
  2. filename 
  3. 'razorback.mp3' 

2. Pendulum

对于大多数python用户来说处理时期(时间)数据是一件令人抓狂的事情,好在Pendulum专为你而来。它是python内置时间类的良好备选方案,更多内容可查看官方文档 https://pendulum.eustace.io/docs/

安装

 
 
 
 
  1. pip install pendulum 

用例

 
 
 
 
  1. import pendulum 
  2.  
  3. dt_toronto = pendulum.datetime(2012, 1, 1, tz='America/Toronto') 
  4. dt_vancouver = pendulum.datetime(2012, 1, 1, tz='America/Vancouver') 
  5. print(dt_vancouver.diff(dt_toronto).in_hours()) 

Run and output

 
 
 
 

3.imbalanced-learn

常见的机器学习分类算法都默认输入的数据是均衡数据,即假设训练集数据有A和B两个类别,A和B数据量大体相当。如果A和B数据量差别巨大,那么训练的效果会不理想。在实际收集和整理的数据,其实绝大多数是非均衡数据,这对于机器学习分类算法真的是个很大的问题。好在有imbalanced-learn库可以很好的解决这个问题。该库兼容scikit-learn,并且是作为scikit-learn-contrib项目的一部分。当你再遇到非均衡数据,记得试试它哦!

安装

 
 
 
 
  1. pip install -U imbalanced-learn 
  2. #或者 
  3. conda install -c conda-forge imbalanced-learn 

该库有高质量的文档 http://imbalanced-learn.org/en/stable,目前该库支持scikit-learn、keras、tensorflow库

4. FlashText

在NLP任务重经常会遇到替换指代同一个意思的多个词语,或者从句子中抽取关键词。通常我们一般的做法是使用正则表达式来完成这些脏活累活,但如果要操作的词语数量达到几千上万,使用正则这种方法就会变得很麻烦。FlashText库是基于FlashText算法,该库的***大之处在于程序运行时间不受操作词语数量影响,即运行时间与操作的词汇数量无关。 因此特别适合应用到 python文本分析 中去。

4.1 安装

 
 
 
 
  1. pip install flashtext 

4.2 用例

4.2.1 抽取关键词

我们都知道 Big Apple 指代纽约。所以抽取纽约这个城市词时候,我们要考虑到相同意思的不同词语。

 
 
 
 
  1. from flashtext import KeywordProcessor 
  2.  
  3. #设置关键词处理器 
  4. keyword_processor = KeywordProcessor() 
  5.  
  6. #设置关键词及其近义词 
  7. keyword_processor.add_keyword('Big Apple', 'New York') #遇到Big Apple就会识别为New York 
  8. keyword_processor.add_keyword('Bay Area') 
  9.  
  10. keywords_found = keyword_processor.extract_keywords("I love Big Apple and Bay Area.") 
  11.  
  12. keywords_found 

Run and output

 
 
 
 
  1. ['New York', 'Bay Area'] 
4.2.2 替换关键词

我们也经常需要将原始文本进行处理,比如将New Delhi(新德里)替换为NCR region(国家首都区)

 
 
 
 
  1. keyword_processor.add_keyword('New Delhi', 'NCR region') 
  2. new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.') 
  3. new_sentence 

Run and output

 
 
 
 
  1. 'I love New York and NCR region.' 

想了解更多,请查看FlastText官方文档

https://flashtext.readthedocs.io/en/latest/#

5. Fuzzywuzzy

这个库的名字就有点怪,但ta拥有强大的字符串匹配功能。可以轻松实现字符串比较比率(comparison ratios),分词比率(token ratios)等操作。它还可以方便地匹配保存在不同数据库中的记录。

安装

 
 
 
 
  1. pip install fuzzywuzzy 

用例

 
 
 
 
  1. from fuzzywuzzy import fuzz 
  2. from fuzzywuzzy import process 
  3.  
  4. # Simple Ratio 
  5. print(fuzz.ratio("this is a test", "this is a test!")) 
  6. # Partial Ratio 
  7. print(fuzz.partial_ratio("this is a test", "this is a test!")) 

Run and output!

 
 
 
 
  1. 97 
  2. 100 

更多有趣的例子可见 fuzzywuzzy库github账号 https://github.com/seatgeek/fuzzywuzzy

6.PyFlux/PyFTS.

在机器学习领域中经常遇到时间序列分析这种问题。PyFlux是专门为解决时间序列问题而开发的python库。这个库提供了很多现代时间序列算法,单不仅仅限于ARIMA、GARCH和VAR这三种模型。简而言之,PyFlux为我们分析时间序列数据提供了可能,你值得拥有。

安装

 
 
 
 
  1. pip install pyflux 

PyFlux用例可查看该库的文档 https://pyflux.readthedocs.io/en/latest/index.html

类似的时间序列库还有PyFTS, 教程链接

https://towardsdatascience.com/a-short-tutorial-on-fuzzy-time-series-dcc6d4eb1b15 

文档链接

https://pyfts.github.io/pyFTS/.

7.Ipyvolume

数据科学中一个重要的部分就是分析结果的展示与交流,而良好的视觉传达是很有优势的。IPyvolume是3D可视化库,可以以最小的初始化设置就能在jupyter notebook中使用。做一个恰当的类比:matplotlib的imshow是2d数组,而IPyvolume的volshow是3d数组。

安装

 
 
 
 
  1. pip install ipyvolume 
  2. #或者 
  3. conda install -c conda-forge ipyvolume 

用例

8. Dash

Dash是用来为开发web应用的高生产率工具库,该库基于Flask、Plotly.js和React.js,不需要懂javascript只用python就能让我们制作出美美的的UI元素,如下来列表、滑动条和图表。这些应用可以在浏览器中渲染,具体文档可查看 https://dash.plot.ly/

安装

 
 
 
 
  1. pip install dash==0.29.0   
  2. pip install dash-html-components==0.13.2  #Dash库的HTML组件 
  3. pip install dash-core-components==0.36.0  #Dash库核心组件 
  4. pip install dash-table==3.1.3  #交互数据库表单(新) 

用例

下面是一个下拉式菜单,可以选择股票代码的pandas Dataframe数据类型作为输入,渲染成动态交互的折线图

9. Gym

Gym是一个可以开发强化学习算法的工具包。 它兼容数值计算库,如TensorFlow或Theano。我们可以据此设计出强化学习算法,这些环境(测试问题)有公开的接口,允许我们写出通用的算法。

安装

 
 
 
 
  1. pip install gym 

用例

比如研究探月飞行器着落月球,科学家需要考虑如何才能准确着落到某个位置,并且保证安全降落。这就需要用到gym来做强化学习,学到规律

本文名称:少有人知的Python数据科学库
浏览地址:http://www.mswzjz.com/qtweb/news42/182442.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联