2021 年 Python 十佳 ML 库大盘点:国产选手 GitHub 半年获 5k+star,第一名是升级版 NumPy

python_ML之基础知识 python中使用numpy进行矩阵运算的常用操作: 参考这篇 文件导入的绝对路径和相对路径: 参考这篇 print array时array中间是省略号没有输出全部的解决方法: 参考这篇 Python跳过第一行读取文件内容: 参考这篇 注意里边的d0_readline()是自己要写的 比如可以写 linearr=line.split(“,”) #如果需要把csv文件用逗号分割 成每... 阅读详情

2021 年里 AI 飞速发展,优秀算法层出不穷,令我们大开眼界。而真正要将这些算法实现,一定少不了 Python 这个主流机器学习语言的加持。

今年各大公司和研究小组都推出了一系列 方便使用的高性能开源库 ,其中还不乏一些国产的优秀作品。

在这里将盘点出最佳的 10 名,致力于帮你解决各种问题。

如果你还在为模型训练中的“杂务”头疼,那就快来看看吧。

1. Awkward Array

根据官方介绍, Awkward Array 用于嵌套的、大小不一的数据 ,包括任意长度的列表、记录、混合的类型和缺失数据,使用起来类似 NumPy。

看起来像是升级版的 NumPy 呀。

果然,不同长度的数组可以直接放在一起运算。

并且,官方表示 Awkward Array 不仅使用起来更简便,在速度和内存上也有量级的优势。

看看是不是可以安排上了~

https://pypi.org/project/awkward/

2. Jupytext

相信大家对 Jupyter Notebook 都不陌生。

当你有了 Jupytext 这个小插件就可以将 Jupyter Notebook 和 IDE 完美结合,听起来是不是很棒!

从此 Jupyter Notebook 可以被存储为 Markdown 文件或多种语言的脚本文件。

Jupytext 可以做的事主要有:

  • Jupyter Notebook 的版本控制;

  • 在你喜欢的文本编辑器中编辑、合并或重构 Notebook;

  • 在 Notebook 上使用 Q&A 检查。

在 Python 中使用的样子:

此项目在 Github 上已有 5k+star。

https://github.com/mwouts/jupytext

3. Gradio

比 Streamlit 还轻量的 UI 设计库,Gradio 让你轻松在 浏览器 中“玩转”你的模型,可以直接在浏览器中拖放图片,粘贴文字,录制声音,等等。

只要将 launch () 函数中的参数设置为 share=True,还能得到一个可分享的网址,拿到链接的朋友在电脑和手机端都能打开,活脱脱就是一个小程序。

时常需要做 Demo 的小伙伴快看起来吧,此项目在 Github 上已有 4.5k+star。

https://github.com/gradio-app/gradio

4. Hub

这个 Hub 在数据管理和数据预处理上可是一把好手。

它可以处理任何类型,任何大小的数据,并且因为数据储存在云端上,所以可以无缝在任何机器上访问。

被压缩为二进制字节的数据可以被存储在任何地方,并且只有在需要的时候才会被获取,所以没有 TB 级硬盘也可以处理 TB 级数据。

Hub 贴心地提供了重要 API,支持数据在常用工具(PyTorch 等)上的使用,数据版本控制,数据转换等功能。

此项目在 github 上已有 4.1k+star。

https://github.com/activeloopai/Hub

5. AugLy

AugLy 是 facebook 最新推出的数据增强库,同时支持语音,文本,图像和视频类型的数据,包含了 100 多种增强方式。

数据对于模型训练至关重要,而标注大规模数据十分困难。由于人力资源,和模型特性的限制,数据增强的应用越来越广泛。

AugLy 的优点:

处理类型更为全面。其他的数据增强库,例如 Albumentations 和 NVIDIA DALI,主要负责图像相关数据的处理,文字数据不支持。

处理方式十分人性化。AugLy 可以将一张图片做成备忘录,在图片 / 视频上叠加文字 / Emojis,转发社交媒体上的截图,还可以帮助你处理诸如拷贝检测、仇恨言论检测或版权侵权等问题。

此项目在 Github 上已有 4.1k+star。

https://github.com/facebookresearch/AugLy

6. Evidently

Evidently 是用来监测模型效果的工具,可从 Pandas DataFrame 或 csv 文件中生成交互式可视化报告和 JSON 格式的效果简介。在 Jupyter Notebook 中可以使用。

目前可以提供 6 种报告:数据漂移、数值目标漂移、分类目标漂移、回归模型性能、分类模型性能和概率分类模型性能。

此项目在 Github 上已有 1.8k+star。

https://github.com/evidentlyai/evidently

7. YOLOX

如果你熟悉 YOLO 的话,那你或许会对旷视今年推出的 YOLOX 感兴趣。

YOLO 就是那个目标检测算法,可以被使用在汽车自动驾驶等前沿技术中。

而 YOLOX 是 YOLO 的无锚版本,设计更简单,但性能更好!它的目标是在研究界和工业界之间架起一座桥梁,同时弥合两方之间的差距。

这个 Github 上的开源项目在短短半年内已获得 5.2k+star。

https://github.com/Megvii-BaseDetection/YOLOX

8. LightSeq

正如它的名字一样,LightSeq 是一款由字节跳动开发的支持 BERT、GPT、Transformer 等众多模型的超快推理引擎。

可以看到它的表现,比 FasterTransformer 还要 Fast。

LightSeq 支持的模型也是非常全面。

总之就是两个字“好用”。此项目在 Github 上已有 1.9k+star。

https://github.com/bytedance/lightseq

9. Greykite

想预测 COVID-19 的恢复速度吗?那就来看看 LinkedIn 为了自家时间序列预测需求开发的 Greykite 吧。

功能全面(多种时间趋势),界面直观,预测速度快和可扩展性强是它最大的亮点。

被应用在上面的三大算法:

  • Silverkite (Greykite’s flagship algorithm)

  • Facebook Prophet

  • Auto Arima

感兴趣的话就去研究看看吧,此项目在 Github 上已有 1.4k+star。

https://github.com/linkedin/greykite

10. Jina and Finetuner

如今,在搜索引擎等应用上,语义识别的地位越来越高,因为它可以有效避免字词匹配的局限。

不过语义识别涉及的神经网络可能会让很多人感到头大,Jina 和 Finetuner 可以帮你解决这些问题。

Jina 是一个神经搜索框架,使任何人都能在几分钟内建立可扩展的深度学习搜索应用程序。

Finetuner 配合 Jina 帮助你对神经网络进行调参,以获得神经搜索任务的最佳结果。

Jina 和 Finetuner 适合没什么经验,又想尝试的朋友。

greykite:灵活、直观、快速的预测库 Greykite:灵活、直观且快速的预测库 为什么是灰风筝? Greykite 库通过其旗舰算法 Silverkite 提供灵活、直观和快速的预测。 Silverkite 算法适用于大多数时间序列,尤其适用于趋势或季节性、事件/假期效应和时间依赖性变化点的算法。 它的预测是可解释的,因此对于可信赖的决策和见解很有用。 Greykite 库提供了一个框架,通过探索性数据分析、异常值/异常预处理、特征提取和工程、网格搜索、评估、基准测试和绘图,可以轻松开发良好的预测模型。 可以通过 Greykite 的接口支持其他开源算法以利用此框架,如下所列。 如需演示,请参阅我们的。 区别特征 灵活的设计 提供时间序列回归器以捕捉趋势、季节性、假期、变化点和自回归,并允许您添加自己的回归器。 使用您选择的机器学习模型拟合预测。 直观的界面 提供强大的绘图工具来探索季节性、相互作用、变化点等。 立即下载

相关推荐

ml-library:Python中的ML库

多媒体图书馆 Python中的ML库

Python-ML库简介

NumPy(Numerical Python的简称)是Python的一个开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。总的来说,NumPy是Python中科学计算的基础软件包,广泛应用于数据分析、机器学习、科学计算等领域。

weixin_38315109的博客 830

信道估计之MMSE算法

信道估计之MMSE算法前言MMSE估计的原理总结 前言        前篇分析了LS信道估计算法,也说明了由于没有考虑SNR的影响,所以LS算法不适合在低信噪比的情况下使用。本篇来学习信道估计的另外一种常用的算法–MMSE。        为什么说LS没有考虑噪声大小的情况呢,因为LS算法使用的是实际观测量与估计观测量的误差,这并不能精确的代表估计量的真值与估计值的误

大白的博客 2万+

让数据应用更简单:Streamlit与Gradio的比较与联系

Streamlit是一个开源的Python库,专门用于快速创建交互式Web应用,特别适合数据科学家和机器学习工程师。它的设计思想是让使用者能够专注于数据的展示和分析,而无需处理复杂的前端开发过程。Streamlit在应用构建的过程中,极大地简化了用户代码的编写,使得数据应用的创建变得更加高效和直观。Gradio是一个开源的Python库,旨在快速创建机器学习模型的演示和交互界面。它为用户提供了一种简单的方式,使得机器学习模型的分享和测试变得更加方便。

码上飞扬的博客 2427

量化投资从0开始系列 ---- 15. 郑商所日统计数据

前面已经提取了其它期货交易所的数据,最后还剩下郑商所。相比而言,郑商所的数据获取比其它几个交易所更麻烦一点。因为郑商所的系统接口有两个,在2015年11月11日前后发生了切换,这个日期之前是老系统的api接口,这个日期之后是一个新的api接口。 具体的地址在哪里,还是依靠在浏览器中按F12来确定,最后发现的地址是: if trade_date > '20151111': czce_url = f'http://www.czce.com.cn/cn/DFSS

kengxie的博客 2116

关于Nuttx操作系统

NuttX是一个成熟的实时操作系统

qq_28576837的博客 4092

【Python编程】Python交互式应用框架巅峰对决 —— Streamlit vs Gradio

Streamlit 和 Gradio 都是非常受欢迎的 Python 交互式应用框架, 但在构建 Python 交互式 Web 应用时该如何选择?Gradio 专注于为机器学习模型与数据科学应用打造交互界面。其核心优势在于能用极简代码快速创建用户友好型 AI 演示系统,因此深受 ML 研究者及从业者青睐。Streamlit 是一款开源 Python 库,旨在帮助开发者快速构建交互式数据驱动型 Web 应用。它以极简主义设计为核心,仅需数行代码即可搭建功能完整的仪表盘。

木亦汐丫 2606

国产麒麟系统下Kettle安装避坑指南:解决aarch64架构不兼容问题

本文针对在国产麒麟系统上安装Kettle时遇到的aarch64架构不兼容问题,提供了详细的解决方案。通过剖析错误根源,指导用户获取并放置正确的SWT库文件,并修改启动脚本,成功解决“平台不支持”的报错,确保ETL工具在ARM架构的国产化环境中顺利运行。

weixin_29214691的博客 279

对比gradio和streamlit

Gradio和Streamlit都是用于构建交互式Web应用程序的Python库

weixin_40090689的博客 1590

Python实战:用jieba和WordCloud打造电商评论情感分析工具(附完整代码)

本文详细介绍了如何使用Python的jieba分词和WordCloud库构建电商评论情感分析工具,涵盖数据预处理、情感分析、可视化展示等关键步骤,并提供完整代码实现。通过该工具,开发者可以高效分析电商评论数据,挖掘消费者情感倾向,为产品改进和决策提供数据支持。

weixin_30316097的博客 415

分布式 Agent 系统设计:高并发场景下的挑战与解决方案

分布式 Agent 系统由多个分布在不同节点上的智能 Agent 组成,这些 Agent 具有自主决策能力,能够通过通信协作完成复杂任务。每个 Agent 可以看作是一个独立的实体,具备感知环境、处理信息、执行动作的功能,它们相互协作,共同实现系统的整体目标。分布式 Agent 系统在高并发场景下面临着资源调度、通信延迟、状态一致性、容错处理和性能瓶颈等诸多挑战。通过采用动态资源分配、高效通信协议、分布式共识算法、冗余备份等解决方案,可以有效应对这些挑战,提高系统的性能、可靠性和可用性。

shuizhudan223的博客 1294

探索Python机器学习的宝藏:pythonml库深度解析

探索Python机器学习的宝藏:pythonml库深度解析 在浩瀚的机器学习领域中,有一个宝藏等待着探索者——那就是pythonml。这个开源项目汇聚了多种Python实现的机器学习模块,为开发者提供了强大的工具箱。今天,让我们一起揭开它的神秘面纱,看看为什么这应该成为你下一个项目的首选库。 项目介绍 pythonml是一个集合了各种Python机器学习算法的仓库,它的存在不仅仅为了代码,还搭配了...

gitblog_00553的博客 941

【自用】吉林大学计算机系统结构第二章:缓存优化 曲冠南老师版 笔记

容量8KB,2的十三次方,块大小16B,一块用掉四位,剩余2的九次方是标志位,则有512行,每个元素8B,则一块两个元素,a数组150块,b数组152块,不出现容量失效。不管是否交换内容,在同一“伪相联”组中的两块都是用同一个索引得到的,因此失效率相同,即:失效率伪相联=失效率2路。伪相联cache的命中时间等于直接映象cache的命中时间加上伪相联查找过程中的命中时间*该命中所需的额外开销。(6) 由编译器控制的预取,硬件预取的替代方法,在编译时加入预取的指令,在数据被用到之前发出预取请求。

weixin_73587775的博客 1617

2021年Python十佳ML库大盘点,国产选手GitHub半年获5k+star,第一名是升级版NumPy

函擎 发自 凹非寺量子位 报道 | 公众号 QbitAI2021年里AI飞速发展,优秀算法层出不穷,令我们大开眼界。而真正要将这些算法实现,一定少不了Python这个主流机器学习语言的加持...

量子位 4421

Windows11搭建GPU版本PyTorch 开发环境教程

Windows11搭建GPU版本PyTorch环境详细过程

世界那么大,我想去看看~【随心更新,看世界去了😄】 3236

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

2021年Python十佳ML库大盘点,国产选手GitHub半年获5k+star,第一名是升级版NumPy(2)

在Jupyter Notebook中可以使用。目前可以提供。

m0_61549674的博客 962

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

解锁PyTorch可视化新姿势:Gradio与Streamlit深度探秘

本文介绍了PyTorch生态中两款可视化工具Gradio和Streamlit的应用与对比。Gradio轻量高效,适合快速部署机器学习模型演示,支持多种输入输出组件;Streamlit功能更丰富,适合构建数据分析和可视化应用。文章通过图像分类、夜景增强、手写体数字识别等案例展示了它们与PyTorch的结合应用,并从功能特点、易用性、性能等方面进行了对比分析。Gradio适合快速模型验证,Streamlit更适合复杂应用开发。随着技术发展,可视化工具将向智能化、个性化和集成化方向演进。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 2751

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

python causalml 库安装教程

因果推断_Uplift-Modeling_python causalml 库 安装教程

write___的博客 2824

Python ML常用库安装-详细滴

更新pip: pip install --upgrade pip python -m pip install --upgrade pip 安装keras pip install keras 安装sklearn: pip install -U scikit-learn 安装tensorflow: 官网:tensorflow官网 1.CPU版本: pip install tensorflow-cpu pip install tensorflow (这样也是默认安装cpu版本) pip install te

人生是一场修行 3695

python版本及ML库

最近发现SciPy的最高版本是3.2,只能是退而求其次,不使用最新版本了!!!

wishchinYang的专栏 2071

请别再问我Spark的MLlib和ML库的区别

机器学习库(MLlib)指南 MLlib是Spark的机器学习(ML)库。其目标是使实际的机器学习可扩展和容易。在高层次上,它提供了如下工具: ML算法:通用学习算法,如分类,回归,聚类和协同过滤 特征提取,特征提取,转换,降维和选择 管道:用于构建,评估和调整ML管道的工具 持久性:保存和加载算法,模型和管道 实用程序:线性代数,统计,数据处理等 公告:

大数据星球-浪尖 2万+

简直让人欲罢不能!820个ML Python库,star超260万,持续周更中...

点击 机器学习算法与Python学习 ,选择加星标精彩内容不迷路当你发愁找不到合适的开源项目时,有人已经悄悄地整理好了。今天要介绍的这个 GitHub 项目提供了大量机器学习 Python...

机器学习算法与Python学习 450
上一篇: Python自动化办公实战:包含Word、Excel、Pdf和Email邮件案例
下一篇: 年会抽奖如何用 Python 让自己变成天选之子
Python_xiaowu
博客等级 码龄5年 3096粉丝 178原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值