本文汇总了Python领域的各类资源，覆盖Web框架、数据可视化、文本处理、自然语言处理等多个方面。介绍了众多实用工具，如requests、BeautifulSoup、Sphinx等，旨在为Python开发者提供全面的技术指南。
知乎用户
，A European Swallow.
收藏
•
没有帮助
•
举报
•
作者保留权利
知乎用户
，热爱Python，Data Debugger，机器学习进…
收藏
•
没有帮助
•
举报
•
作者保留权利
you-get!
YouTube/优酷/土豆/搜狐/bilibili
给网址就下视频啊! 太好用了, 有木有
知乎用户
，主业Android，业余玩python
应用：
之前做的好货啦 http://haohuola.com/，这个网站，从别人网站抓取优惠信息之后，那么如何把这么多信息进行分类，这个时候就用的jieba了，分词之后提取关键词，自动化把这些信息归类！
补充三个有助于自动化日常工作的：
- sh：sh 1.08 — sh v1.08 documentation
可以用 Python 函数的语法去调用 shell 命令，sh 之于 subprocess 类似 requests 之于 urllib2。 - Watchdog：Watchdog — watchdog 0.8.0 documentation
监视文件系统改动。 - Path：API — path.py 5.2 documentation
简化文件系统相关操作。
环境管理
管理 Python 版本和环境的工具
- p – 非常简单的交互式 python 版本管理工具。
- pyenv – 简单的 Python 版本管理工具。
- Vex – 可以在虚拟环境中执行命令。
- virtualenv – 创建独立 Python 环境的工具。
- virtualenvwrapper- virtualenv 的一组扩展。
管理包和依赖的工具。
- pip – Python 包和依赖关系管理工具。
- pip-tools – 保证 Python 包依赖关系更新的一组工具。
- conda – 跨平台，Python 二进制包管理工具。
- Curdling – 管理 Python 包的命令行工具。
- wheel – Python 分发的新标准，意在取代 eggs。
本地 PyPI 仓库服务和代理。
- warehouse – 下一代 PyPI。
- Warehousebandersnatch – PyPA 提供的 PyPI 镜像工具。
- devpi – PyPI 服务和打包/测试/分发工具。
- localshop – 本地 PyPI 服务（自定义包并且自动对 PyPI 镜像）。
打包为可执行文件以便分发。
- PyInstaller – 将 Python 程序转换成独立的执行文件（跨平台）。
- dh-virtualenv – 构建并将 virtualenv 虚拟环境作为一个 Debian 包来发布。
- Nuitka – 将脚本、模块、包编译成可执行文件或扩展模块。
- py2app – 将 Python 脚本变为独立软件包（Mac OS X）。
- py2exe – 将 Python 脚本变为独立软件包（Windows）。
- pynsist – 一个用来创建 Windows 安装程序的工具，可以在安装程序中打包 Python本身。
将源码编译成软件。
- buildout – 一个构建系统，从多个组件来创建，组装和部署应用。
- BitBake – 针对嵌入式 Linux 的类似 make 的构建工具。
- fabricate – 对任何语言自动找到依赖关系的构建工具。
- PlatformIO – 多平台命令行构建工具。
- PyBuilder – 纯 Python 实现的持续化构建工具。
- SCons – 软件构建工具。
交互式 Python 解析器。
- IPython – 功能丰富的工具，非常有效的使用交互式 Python。
- bpython- 界面丰富的 Python 解析器。
- ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。
文件管理和 MIME（多用途的网际邮件扩充协议）类型检测。
- imghdr – （Python 标准库）检测图片类型。
- mimetypes – （Python 标准库）将文件名映射为 MIME 类型。
- path.py – 对 os.path 进行封装的模块。
- pathlib – （Python3.4+ 标准库）跨平台的、面向对象的路径操作库。
- python-magic- 文件类型检测的第三方库 libmagic 的 Python 接口。
- Unipath- 用面向对象的方式操作文件和目录
- watchdog – 管理文件系统事件的 API 和 shell 工具
操作日期和时间的类库。
- arrow- 更好的 Python 日期时间操作类库。
- Chronyk – Python 3 的类库，用于解析手写格式的时间和日期。
- dateutil – Python datetime 模块的扩展。
- delorean- 解决 Python 中有关日期处理的棘手问题的库。
- moment – 一个用来处理时间和日期的Python库。灵感来自于Moment.js。
- PyTime – 一个简单易用的Python模块，用于通过字符串来操作日期/时间。
- pytz – 现代以及历史版本的世界时区定义。将时区数据库引入Python。
- when.py – 提供用户友好的函数来帮助用户进行常用的日期和时间操作。
用于解析和操作文本的库。
- 通用
- chardet – 字符编码检测器，兼容 Python2 和 Python3。
- difflib – (Python 标准库)帮助我们进行差异化比较。
- ftfy – 让Unicode文本更完整更连贯。
- fuzzywuzzy – 模糊字符串匹配。
- Levenshtein – 快速计算编辑距离以及字符串的相似度。
- pangu.py – 在中日韩语字符和数字字母之间添加空格。
- pyfiglet -figlet 的 Python实现。
- shortuuid – 一个生成器库，用以生成简洁的，明白的，URL 安全的 UUID。
- unidecode – Unicode 文本的 ASCII 转换形式 。
- uniout – 打印可读的字符，而不是转义的字符串。
- xpinyin – 一个用于把汉字转换为拼音的库。
- Slug化
- awesome-slugify – 一个 Python slug 化库，可以保持 Unicode。
- python-slugify – Python slug 化库，可以把 unicode 转化为 ASCII。
- unicode-slugify – 一个 slug 工具，可以生成 unicode slugs ,需要依赖 Django 。
- 解析器
- phonenumbers – 解析，格式化，储存，验证电话号码。
- PLY – lex 和 yacc 解析工具的 Python 实现。
- Pygments – 通用语法高亮工具。
- pyparsing – 生成通用解析器的框架。
- python-nameparser – 把一个人名分解为几个独立的部分。
- python-user-agents – 浏览器 user agent 解析器。
- sqlparse – 一个无验证的 SQL 解析器。
一些用来解析和操作特殊文本格式的库。
- 通用
- tablib – 一个用来处理中表格数据的模块。
- Office
- Marmir – 把输入的Python 数据结构转换为电子表单。
- openpyxl – 一个用来读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的库。
- python-docx – 读取，查询以及修改 Microsoft Word 2007/2008 docx 文件。
- unoconv – 在 LibreOffice/OpenOffice 支持的任意文件格式之间进行转换。
- XlsxWriter – 一个用于创建 Excel .xlsx 文件的 Python 模块。
- xlwings – 一个使得在 Excel 中方便调用 Python 的库（反之亦然），基于 BSD 协议。
- xlwt / xlrd – 读写 Excel 文件的数据和格式信息。
- relatorio – 模板化OpenDocument 文件。
- Markdown
- Mistune – 快速并且功能齐全的纯 Python 实现的 Markdown 解析器。
- Python-Markdown – John Gruber’s Markdown 的 Python 版实现。
- YAML
- PyYAML – Python 版本的 YAML 解析器。
- CSV
- csvkit – 用于转换和操作 CSV 的工具。
- Archive
- unp – 一个用来方便解包归档文件的命令行工具。
用来处理人类语言的库。
- NLTK – 一个先进的平台，用以构建处理人类语言数据的 Python 程序。
- jieba – 中文分词工具。
- langid.py – 独立的语言识别系统。
- Pattern – Python 网络信息挖掘模块。
- SnowNLP – 一个用来处理中文文本的库。
- TextBlob – 为进行普通自然语言处理任务提供一致的 API。
- TextGrocery – 一简单高效的短文本分类工具，基于 LibLinear 和 Jieba。
用以生成项目文档的库。
- Sphinx – Python 文档生成器。
- MkDocs – 对 Markdown 友好的文档生成器。
- pdoc – 一个可以替换Epydoc 的库，可以自动生成 Python 库的 API 文档。
- Pycco – 文学编程（literate-programming）风格的文档生成器。
用来保存和解析配置的库。
- config – logging 模块作者写的分级配置模块。
- ConfigObj – INI 文件解析器，带验证功能。
- ConfigParser – (Python 标准库) INI 文件解析器。
- profig – 通过多种格式进行配置，具有数值转换功能。
- python-decouple – 将设置和代码完全隔离。
用于创建命令行程序的库。
- 命令行程序开发
- 生产力工具
- aws-cli – Amazon Web Services 的通用命令行界面。
- bashplotlib – 在终端中进行基本绘图。
- caniusepython3 – 判断是哪个项目妨碍你你移植到 Python 3。
- cookiecutter – 从 cookiecutters（项目模板）创建项目的一个命令行工具。
- doitlive – 一个用来在终端中进行现场演示的工具。
- howdoi – 通过命令行获取即时的编程问题解答。
- httpie – 一个命令行HTTP 客户端，cURL 的替代品，易用性更好。
- PathPicker – 从bash输出中选出文件。
- percol – 向UNIX shell 传统管道概念中加入交互式选择功能。
- SAWS – 一个加强版的 AWS 命令行。
- thefuck – 修正你之前的命令行指令。
- mycli – 一个 MySQL 命令行客户端，具有自动补全和语法高亮功能。
- pgcli – Postgres 命令行工具，具有自动补全和语法高亮功能。
用来进行下载的库.
- s3cmd – 一个用来管理Amazon S3 和 CloudFront 的命令行工具。
- s4cmd – 超级 S3 命令行工具，性能更加强劲。
- you-get – 一个 YouTube/Youku/Niconico 视频下载器，使用 Python3 编写。
- youtube-dl – 一个小巧的命令行程序，用来下载 YouTube 视频。
用来操作图像的库.
- pillow – Pillow 是一个更加易用版的 PIL。
- hmap – 图像直方图映射。
- imgSeek – 一个使用视觉相似性搜索一组图片集合的项目。
- nude.py – 裸体检测。
- pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。
- pygram – 类似 Instagram 的图像滤镜。
- python-qrcode – 一个纯 Python 实现的二维码生成器。
- Quads – 基于四叉树的计算机艺术。
- scikit-image – 一个用于（科学）图像处理的 Python 库。
- thumbor – 一个小型图像服务，具有剪裁，尺寸重设和翻转功能。
- wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。
光学字符识别库。
- pyocr – Tesseract 和 Cuneiform 的一个封装(wrapper)。
- pytesseract – Google Tesseract OCR 的另一个封装(wrapper)。
- python-tesseract – Google Tesseract OCR 的一个包装类。
用来操作音频的库
- audiolazy -Python 的数字信号处理包。
- audioread – 交叉库 (GStreamer + Core Audio + MAD + FFmpeg) 音频解码。
- beets – 一个音乐库管理工具及 MusicBrainz 标签添加工具
- dejavu – 音频指纹提取和识别
- django-elastic-transcoder – Django + Amazon Elastic Transcoder。
- eyeD3 – 一个用来操作音频文件的工具，具体来讲就是包含 ID3 元信息的 MP3 文件。
- id3reader – 一个用来读取 MP3 元数据的 Python 模块。
- m3u8 – 一个用来解析 m3u8 文件的模块。
- mutagen – 一个用来处理音频元数据的 Python 模块。
- pydub – 通过简单、简洁的高层接口来操作音频文件。
- pyechonest – Echo Nest API 的 Python 客户端
- talkbox – 一个用来处理演讲/信号的 Python 库
- TimeSide – 开源 web 音频处理框架。
- tinytag – 一个用来读取MP3, OGG, FLAC 以及 Wave 文件音乐元数据的库。
- mingus – 一个高级音乐理论和曲谱包，支持 MIDI 文件和回放功能。
用来操作视频和GIF的库。
- moviepy – 一个用来进行基于脚本的视频编辑模块，适用于多种格式，包括动图 GIFs。
- scikit-video – SciPy 视频处理常用程序。
地理编码地址以及用来处理经纬度的库。
- GeoDjango – 世界级地理图形 web 框架。
- GeoIP – MaxMind GeoIP Legacy 数据库的 Python API。
- geojson – GeoJSON 的 Python 绑定及工具。
- geopy – Python 地址编码工具箱。
- pygeoip – 纯 Python GeoIP API。
- django-countries – 一个 Django 应用程序，提供用于表格的国家选择功能，国旗图标静态文件以及模型中的国家字段。
使用HTTP的库。
- requests – 人性化的HTTP请求库。
- grequests – requests 库 + gevent ，用于异步 HTTP 请求.
- httplib2 – 全面的 HTTP 客户端库。
- treq – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。
- urllib3 – 一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。
Python实现的数据库。
- pickleDB – 一个简单，轻量级键值储存数据库。
- PipelineDB – 流式 SQL 数据库。
- TinyDB – 一个微型的，面向文档型数据库。
- ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。
用来连接和操作数据库的库。
- MySQL – awesome-mysql系列
- mysql-python – Python 的 MySQL 数据库连接器。
- mysqlclient – mysql-python 分支，支持 Python 3。
- oursql – 一个更好的 MySQL 连接器，支持原生预编译指令和 BLOBs.
- PyMySQL – 纯 Python MySQL 驱动，兼容 mysql-python。
- PostgreSQL
- psycopg2 – Python 中最流行的 PostgreSQL 适配器。
- queries – psycopg2 库的封装，用来和 PostgreSQL 进行交互。
- txpostgres – 基于 Twisted 的异步 PostgreSQL 驱动。
- 其他关系型数据库
- NoSQL 数据库
- cassandra-python-driver – Cassandra 的 Python 驱动。
- HappyBase – 一个为 Apache HBase 设计的，对开发者友好的库。
- Plyvel – 一个快速且功能丰富的 LevelDB 的 Python 接口。
- py2neo – Neo4j restful 接口的Python 封装客户端。
- pycassa – Cassandra 的 Python Thrift 驱动。
- PyMongo – MongoDB 的官方 Python 客户端。
- redis-py – Redis 的 Python 客户端。
- telephus – 基于 Twisted 的 Cassandra 客户端。
- txRedis – 基于 Twisted 的 Redis 客户端。
实现对象关系映射或数据映射技术的库。
- 关系型数据库
- Django Models – Django 的一部分。
- SQLAlchemy – Python SQL 工具以及对象关系映射工具。
- Peewee – 一个小巧，富有表达力的 ORM。
- PonyORM – 提供面向生成器的 SQL 接口的 ORM。
- python-sql – 编写 Python 风格的 SQL 查询。
- NoSQL 数据库
- django-mongodb-engine – Django MongoDB 后端。
- PynamoDB – Amazon DynamoDB 的一个 Python 风格接口。
- flywheel – Amazon DynamoDB 的对象映射工具。
- MongoEngine – 一个Python 对象文档映射工具，用于 MongoDB。
- hot-redis – 为 Redis 提供 Python 丰富的数据类型。
- redisco – 一个 Python 库，提供可以持续存在在 Redis 中的简单模型和容器。
- 其他
- butterdb – Google Drive 电子表格的 Python ORM。
全栈 web 框架。
- Django – Python 界最流行的 web 框架。
- Flask – 一个 Python 微型框架。
- Pyramid – 一个小巧，快速，接地气的开源Python web 框架。
- Bottle – 一个快速小巧，轻量级的 WSGI 微型 web 框架。
- CherryPy – 一个极简的 Python web 框架，服从 HTTP/1.1 协议且具有WSGI 线程池。
- TurboGears – 一个可以扩展为全栈解决方案的微型框架。
- web.py – 一个 Python 的 web 框架，既简单，又强大。
- web2py – 一个全栈 web 框架和平台，专注于简单易用。
- Tornado – 一个web 框架和异步网络库。
允许或拒绝用户访问数据或功能的库。
- Carteblanche – Module to align code with thoughts of users and designers. Also magically handles navigation and permissions.
- django-guardian – Django 1.2+ 实现了单个对象权限。
- django-rules – 一个小巧但是强大的应用，提供对象级别的权限管理，且不需要使用数据库。
内容管理系统
- django-cms – 一个开源的，企业级 CMS，基于 Django。
- djedi-cms – 一个轻量级但却非常强大的 Django CMS ，考虑到了插件，内联编辑以及性能。
- FeinCMS – 基于 Django 构建的最先进的内容管理系统之一。
- Kotti – 一个高级的，Python 范的 web 应用框架，基于 Pyramid 构建。
- Mezzanine – 一个强大的，持续的，灵活的内容管理平台。
- Opps – 一个为杂志，报纸网站以及大流量门户网站设计的 CMS 平台，基于 Django。
- Plone – 一个构建于开源应用服务器 Zope 之上的 CMS。
- Quokka – 灵活，可扩展的小型 CMS，基于 Flask 和 MongoDB。
- Wagtail – 一个 Django 内容管理系统。
- Widgy – 最新的 CMS 框架，基于 Django。
用于电子商务以及支付的框架和库。
- django-oscar – 一个用于 Django 的开源的电子商务框架。
- django-shop – 一个基于 Django 的店铺系统。
- Cartridge – 一个基于 Mezzanine 构建的购物车应用。
- shoop – 一个基于 Django 的开源电子商务平台。
- alipay – 非官方的 Python 支付宝 API。
- merchant – 一个可以接收来自多种支付平台支付的 Django 应用。
- money – 货币类库with optional CLDR-backed locale-aware formatting and an extensible currency exchange solution.
- python-currencies – 显示货币格式以及它的数值。
用来开发RESTful APIs的库
- Django
- django-rest-framework – 一个强大灵活的工具，用来构建 web API。
- django-tastypie – 为Django 应用开发API。
- django-formapi – 为 Django 的表单验证，创建 JSON APIs 。
- Flask
- flask-api – 为 flask 开发的，可浏览 Web APIs 。
- flask-restful – 为 flask 快速创建REST APIs 。
- flask-restless – 为 SQLAlchemy 定义的数据库模型创建 RESTful APIs 。
- flask-api-utils – 为 Flask 处理 API 表示和验证。
- eve – REST API 框架，由 Flask, MongoDB 等驱动。
- Pyramid
- cornice – 一个Pyramid 的 REST 框架 。
- 与框架无关的
实现验证方案的库。
- OAuth
- Authomatic – 简单但是强大的框架，身份验证/授权客户端。
- django-allauth – Django 的验证应用。
- django-oauth-toolkit – 为 Django 用户准备的 OAuth2。
- django-oauth2-provider – 为 Django 应用提供 OAuth2 接入。
- Flask-OAuthlib – OAuth 1.0/a, 2.0 客户端实现，供 Flask 使用。
- OAuthLib – 一个 OAuth 请求-签名逻辑通用、 完整的实现。
- python-oauth2 – 一个完全测试的抽象接口。用来创建 OAuth 客户端和服务端。
- python-social-auth – 一个设置简单的社会化验证方式。
- rauth – OAuth 1.0/a, 2.0, 和 Ofly 的 Python 库。
- sanction – 一个超级简单的OAuth2 客户端实现。
- 其他
- jose – JavaScript 对象签名和加密草案的实现。
- PyJWT – JSON Web 令牌草案 01。
- python-jws – JSON Web 签名草案 02 的实现。
- python-jwt – 一个用来生成和验证 JSON Web 令牌的模块。
模板生成和词法解析的库和工具。
- Jinja2 – 一个现代的，对设计师友好的模板引擎。
- Chameleon – 一个 HTML/XML 模板引擎。 模仿了 ZPT（Zope Page Templates）, 进行了速度上的优化。
- Genshi – Python 模板工具，用以生成 web 感知的结果。
- Mako – Python 平台的超高速轻量级模板。
处理事件以及任务队列的库。
- celery – 一个异步任务队列/作业队列，基于分布式消息传递。
- huey – 小型多线程任务队列。
- mrq – Mr. Queue -一个 Python 的分布式 worker 任务队列， 使用 Redis 和 gevent。
- rq – 简单的 Python 作业队列。
- simpleq – 一个简单的，可无限扩张的，基于亚马逊 SQS 的队列。
对数据进行索引和执行搜索查询的库和软件。
- django-haystack – Django 模块化搜索。
- elasticsearch-py – Elasticsearch 的官方底层 Python 客户端。
- elasticsearch-dsl-py -Elasticsearch 的官方高级 Python 客户端。
- solrpy – solr的 Python 客户端。
- Whoosh – 一个快速的纯 Python 搜索引擎库。
用来创建用户活动的库。
- django-activity-stream – 从你的站点行为中生成通用活动信息流。
- Stream-Framework – 使用 Cassandra 和 Redis 创建动态消息和通知系统。
管理、压缩、缩小网站资源的工具。
- django-compressor – 将链接和内联的 JavaScript 或 CSS 压缩到一个单独的缓存文件中。
- django-storages – 一个针对 Django 的自定义存储后端的工具集合。
- fanstatic – 打包、优化，并且把静态文件依赖作为 Python 的包来提供。
- File Conveyor – 一个后台驻留的程序，用来发现和同步文件到 CDNs, S3 和 FTP。
- Flask-Assets – 帮你将 web 资源整合到你的 Flask app 中。
- jinja-assets-compressor – 一个 Jinja 扩展，用来编译和压缩你的资源。
- webassets – 为你的静态资源打包、优化和管理生成独一无二的缓存 URL。
缓存数据的库。
- Beaker – 一个缓存和会话库，可以用在 web 应用和独立 Python脚本和应用上。
- django-cache-machine – Django 模型的自动缓存和失效。
- django-cacheops- 具有自动颗粒化事件驱动失效功能的 ORM。
- django-viewlet – 渲染模板，同时具有额外的缓存控制功能。
- dogpile.cache – dogpile.cache 是 Beaker 的下一代替代品，由同一作者开发。
- HermesCache – Python 缓存库，具有基于标签的失效和 dogpile effect 保护功能。
- johnny-cache – django应用缓存框架。
- pylibmc – libmemcached 接口的 Python 封装。
用来发送和解析电子邮件的库。
- django-celery-ses – 带有 AWS SES 和 Celery 的 Django email 后端。
- envelopes – 供人类使用的电子邮件库。
- flanker – 一个 email 地址和 Mime 解析库。
- imbox – Python IMAP 库
- inbox.py – Python SMTP 服务器。
- inbox – 一个开源电子邮件工具箱。
- lamson – Python 风格的 SMTP 应用服务器。
- mailjet – Mailjet API 实现，用来提供批量发送邮件，统计等功能。
- marrow.mailer – 高性能可扩展邮件分发框架。
- modoboa – 一个邮件托管和管理平台，具有现代的、简约的 Web UI。
- pyzmail – 创建，发送和解析电子邮件。
- Talon – Mailgun 库，用来抽取信息和签名。
用来进行国际化的库。
URL处理解析URLs的库
- furl – 一个让处理 URL 更简单小型 Python 库。
- purl – 一个简单的，不可变的URL类，具有简洁的 API 来进行询问和处理。
- pyshorteners – 一个纯 Python URL 缩短库。
- shorturl- 生成短小 URL 和类似 bit.ly 短链的Python 实现。
- webargs – 一个解析 HTTP 请求参数的库，内置对流行 web 框架的支持，包括 Flask, Django, Bottle, Tornado和 Pyramid。
处理 HTML和XML的库。
- BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改。
- bleach – 一个基于白名单的 HTML 清理和文本链接库。
- cssutils – 一个 Python 的 CSS 库。
- html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。
- lxml – 一个非常快速，简单易用，功能齐全的库，用来处理 HTML 和 XML。
- MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。
- pyquery – 一个解析 HTML 的库，类似 jQuery。
- untangle – 将XML文档转换为Python对象，使其可以方便的访问。
- xhtml2pdf – HTML/CSS 转 PDF 工具。
- xmltodict – 像处理 JSON 一样处理 XML。
爬取网络站点的库
- Scrapy – 一个快速高级的屏幕爬取及网页采集框架。
- cola – 一个分布式爬虫框架。
- Demiurge – 基于PyQuery 的爬虫微型框架。
- feedparser – 通用 feed 解析器。
- Grab – 站点爬取框架。
- MechanicalSoup – 用于自动和网络站点交互的 Python 库。
- portia – Scrapy 可视化爬取。
- pyspider – 一个强大的爬虫系统。
- RoboBrowser – 一个简单的，Python 风格的库，用来浏览网站，而不需要一个独立安装的浏览器。
用于进行网页内容提取的库。
- Haul – 一个可以扩展的图像爬取工具。
- html2text – 将 HTML 转换为 Markdown 格式文本
- lassie – 人性化的网页内容检索库。
- micawber -一个小型网页内容提取库，用来从 URLs 提取富内容。
- newspaper – 使用 Python 进行新闻提取，文章提取以及内容策展。
- opengraph – 一个用来解析开放内容协议(Open Graph Protocol)的 Python模块。
- python-goose – HTML内容/文章提取器。
- python-readability- arc90 公司 readability 工具的 Python 高速端口
- sanitize – 为杂乱的数据世界带来调理性。
- sumy – 一个为文本文件和 HTML 页面进行自动摘要的模块。
- textract – 从任何格式的文档中提取文本，Word，PowerPoint，PDFs 等等。
进行表单操作的库。
- Deform – Python HTML 表单生成库，受到了 formish 表单生成库的启发。
- django-bootstrap3- 集成了 Bootstrap 3 的 Django。
- django-crispy-forms – 一个 Django 应用，他可以让你以一种非常优雅且 DRY（Don’t repeat yourself） 的方式来创建美观的表单。
- django-remote-forms- 一个平台独立的 Django 表单序列化工具。
- WTForms – 一个灵活的表单验证和呈现库。
- WTForms-JSON- 一个 WTForms 扩展，用来处理 JSON 数据。
数据验证库。多用于表单验证。
- Cerberus – A mappings-validator with a variety of rules, normalization-features and simple customization that uses a pythonic schema-definition.
- colander – 一个用于对从 XML, JSON，HTML 表单获取的数据或其他同样简单的序列化数据进行验证和反序列化的系统。
- kmatch – 一种用于匹配/验证/筛选 Python 字典的语言。
- schema -一个用于对 Python 数据结构进行验证的库。
- Schematics – 数据结构验证。
- valideer – 轻量级可扩展的数据验证和适配库。
- voluptuous – 一个 Python 数据验证库。主要是为了验证传入 Python的 JSON，YAML 等数据。
帮助你和电子垃圾进行战斗的库。
- django-simple-captcha – 一个简单、高度可定制的Django 应用，可以为任何Django表单添加验证码。
- django-simple-spam-blocker- 一个用于Django的简单的电子垃圾屏蔽工具。
用来进行标记的库。
- django-taggit – 简单的 Django 标记工具。
管理界面库。
- Ajenti – 一个你的服务器值得拥有的管理面板。
- django-suit – Django 管理界面的一个替代品 (仅对于非商业用途是免费的)。
- django-xadmin – Django admin 的一个替代品，具有很多不错的功能。
- flask-admin – 一个用于 Flask 的简单可扩展的管理界面框架。
- flower – 一个对 Celery 集群进行实时监控和提供 web 管理界面的工具。
- Grappelli – Django 管理界面的一个漂亮的皮肤。
- Wooey – 一个 Django 应用，可以为 Python 脚本创建 web 用户界面。
静态站点生成器是一个软件，它把文本和模板作为输入，然后输出HTML文件。
- Pelican – 使用 Markdown 或 ReST 来处理内容， Jinja 2 来制作主题。支持 DVCS, Disqus.。AGPL 许可。
- Cactus – 为设计师设计的静态站点生成器。
- Hyde – 基于 Jinja2 的静态站点生成器。
- Nikola – 一个静态网站和博客生成器。
- Tinkerer – Tinkerer 是一个博客引擎/静态站点生成器，由Sphinx驱动。
- Lektor – 一个简单易用的静态 CMS 和博客引擎。
操作系统进程启动及通信库。
- envoy – 比 Python subprocess 模块更人性化。
- sarge – 另一 种 subprocess 模块的封装。
- sh – 一个完备的 subprocess 替代库。
用以进行并发和并行操作的库。
- multiprocessing – (Python 标准库) 基于进程的“线程”接口。
- threading – (Python 标准库)更高层的线程接口。
- eventlet – 支持 WSGI 的异步框架。
- gevent – 一个基于协程的 Python 网络库，使用greenlet。
- Tomorrow -用于产生异步代码的神奇的装饰器语法实现。
用于网络编程的库。
- asyncio – (Python 标准库) 异步 I/O, 事件循环, 协程以及任务。
- Twisted – 一个事件驱动的网络引擎。
- pulsar – 事件驱动的并发框架。
- diesel – 基于Greenlet 的事件 I/O 框架。
- pyzmq – 一个 ZeroMQ 消息库的 Python 封装。
- txZMQ – 基于 Twisted 的 ZeroMQ 消息库的 Python 封装。
帮助使用WebSocket的库。
- AutobahnPython – 给 Python 、使用的 WebSocket & WAMP 基于 Twisted 和 asyncio。
- Crossbar – 开源统一应用路由(Websocket & WAMP for Python on Autobahn).
- django-socketio – 给 Django 用的 WebSockets。
- WebSocket-for-Python – 为Python2/3 以及 PyPy 编写的 WebSocket 客户端和服务器库。
兼容 WSGI 的 web 服务器
- gunicorn – Pre-forked, 部分是由 C 语言编写的。
- uwsgi – uwsgi 项目的目的是开发一组全栈工具，用来建立托管服务， 由 C 语言编写。
- bjoern – 异步，非常快速，由 C 语言编写。
- fapws3 – 异步 (仅对于网络端)，由 C 语言编写。
- meinheld – 异步，部分是由 C 语言编写的。
- netius – 异步，非常快速。
- paste – 多线程，稳定，久经考验。
- rocket – 多线程。
- waitress – 多线程, 是它驱动着 Pyramid 框架。
- Werkzeug – 一个 WSGI 工具库，驱动着 Flask ，而且可以很方便大嵌入到你的项目中去。
兼容 RPC 的服务器。
- SimpleJSONRPCServer – 这个库是 JSON-RPC 规范的一个实现。
- SimpleXMLRPCServer – (Python 标准库) 简单的 XML-RPC 服务器实现，单线程。
- zeroRPC – zerorpc 是一个灵活的 RPC 实现，基于 ZeroMQ 和 MessagePack。
- cryptography – 这个软件包意在提供密码学基本内容和方法提供给 Python 开发者。
- hashids – 在 Python 中实现 hashids 。
- Paramiko – SSHv2 协议的 Python (2.6+, 3.3+) ，提供客户端和服务端的功能。
- Passlib – 安全密码存储／哈希库，
- PyCrypto – Python 密码学工具箱。
- PyNacl – 网络和密码学(NaCl) 库的 Python 绑定。
用来创建图形用户界面程序的库。
- curses – 内建的 ncurses 封装，用来创建终端图形用户界面。
- enaml – 使用类似 QML 的Declaratic语法来创建美观的用户界面。
- kivy – 一个用来创建自然用户交互（NUI）应用程序的库，可以运行在 Windows, Linux, Mac OS X, Android 以及 iOS平台上。
- pyglet – 一个Python 的跨平台窗口及多媒体库。
- PyQt – 跨平台用户界面框架 Qt 的 Python 绑定 ，支持Qt v4 和 Qt v5。
- PySide – P跨平台用户界面框架 Qt 的 Python 绑定 ，支持Qt v4。
- Tkinter – Tkinter 是 Python GUI 的一个事实标准库。
- Toga – 一个 Python 原生的, 操作系统原生的 GUI 工具包。
- urwid – 一个用来创建终端 GUI 应用的库，支持组件，事件和丰富的色彩等。
- wxPython – wxPython 是 wxWidgets C++ 类库和 Python 语言混合的产物。
- PyGObject – GLib/GObject/GIO/GTK+ (GTK+3) 的 Python 绑定
- Flexx – Flexx 是一个纯 Python 语言编写的用来创建 GUI 程序的工具集，它使用 web 技术进行界面的展示。
超赞的游戏开发库。
- Cocos2d – cocos2d 是一个用来开发 2D 游戏， 示例和其他图形/交互应用的框架。基于 pyglet。
- Panda3D – 由迪士尼开发的 3D 游戏引擎，并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。
- Pygame – Pygame 是一组 Python 模块，用来编写游戏。
- PyOgre – Ogre 3D 渲染引擎的 Python 绑定，可以用来开发游戏和仿真程序等任何 3D 应用。
- PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。
- PySDL2 – SDL2 库的封装，基于 ctypes。
- RenPy – 一个视觉小说（visual novel）引擎。
用来生成和操作日志的库。
- logging – (Python 标准库) 为 Python 提供日志功能。
- logbook – Logging 库的替代品。
- Eliot – 为复杂的和分布式系统创建日志。
- Raven – Sentry的 Python 客户端。
- Sentry – 实时记录和收集日志的服务器。
进行代码库测试和生成测试数据的库。
- 测试框架
- unittest – (Python 标准库) 单元测试框架。
- nose – nose 扩展了 unittest 的功能。
- contexts – 一个 Python 3.3+ 的 BDD 框架。受到C# – Machine.Specifications的启发。
- hypothesis – Hypothesis 是一个基于先进的 Quickcheck 风格特性的测试库。
- mamba – Python 的终极测试工具， 拥护BDD。
- PyAutoGUI – PyAutoGUI 是一个人性化的跨平台 GUI 自动测试模块。
- pyshould- Should 风格的断言，基于 PyHamcrest。
- pytest- 一个成熟的全功能 Python 测试工具。
- green- 干净，多彩的测试工具。
- pyvows- BDD 风格的测试工具，受Vows.js的启发。
- Robot Framework – 一个通用的自动化测试框架。
- Web 测试
- Mock测试
- 对象工厂
- factoryboy – 一个 Python 用的测试固件 (test fixtures) 替代库。
- mixer – 另外一个测试固件 (test fixtures) 替代库，支持 Django, Flask, SQLAlchemy, Peewee 等。
- modelmommy – 为 Django 测试创建随机固件
- 代码覆盖率
- coverage – 代码覆盖率测量。
- 伪数据
- 错误处理
- FuckIt.py – FuckIt.py 使用最先进的技术来保证你的 Python 代码无论对错都能继续运行。
进行代码分析，解析和操作代码库的库和工具。
- 代码分析
- code2flow – 把你的 Python 和 JavaScript 代码转换为流程图。
- pycallgraph -这个库可以把你的Python 应用的流程(调用图)进行可视化。
- pysonar2 – Python 类型推断和检索工具。
- Lint工具
用来进行代码调试的库。
- 调试器
- ipdb – IPython 启用的 pdb。
- pudb – 全屏，基于控制台的 Python 调试器。
- pyringe – 可以在 Python 进程中附加和注入代码的调试器。
- wdb – 一个奇异的 web 调试器，通过 WebSockets 工作。
- winpdb – 一个具有图形用户界面的 Python 调试器，可以进行远程调试，基于 rpdb2。
- django-debug-toolbar – 为 Django 显示各种调试信息。
- django-devserver – 一个 Django 运行服务器的替代品。
- flask-debugtoolbar – django-debug-toolbar 的 flask 版。
- 性能分析器
- lineprofiler – 逐行性能分析。
- memoryprofiler – 监控 Python 代码的内存使用。
- profiling – 一个交互式 Python 性能分析工具。
- 其他
- pyelftools – 解析和分析 ELF 文件以及 DWARF 调试信息。
- python-statsd – statsd 服务器的 Python 客户端。
用来进行科学计算和数据分析的库。
- astropy – 一个天文学 Python 库。
- bcbio-nextgen – 这个工具箱为全自动高通量测序分析提供符合最佳实践的处理流程。
- bccb – 生物分析相关代码集合
- Biopython – Biopython 是一组可以免费使用的用来进行生物计算的工具。
- blaze – NumPy 和 Pandas 的大数据接口。
- cclib – 一个用来解析和解释计算化学软件包输出结果的库。
- NetworkX – 一个为复杂网络设计的高性能软件。
- Neupy – 执行和测试各种不同的人工神经网络算法。
- Numba – Python JIT (just in time) 编译器，针对科学用的 Python ，由Cython 和 NumPy 的开发者开发。
- NumPy – 使用 Python 进行科学计算的基础包。
- Open Babel – 一个化学工具箱，用来描述多种化学数据。
- Open Mining – 使用 Python 挖掘商业情报 (BI) (Pandas web 接口)。
- orange – 通过可视化编程或 Python 脚本进行数据挖掘，数据可视化，分析和机器学习。
- Pandas – 提供高性能，易用的数据结构和数据分析工具。
- PyDy – PyDy 是 Python Dynamics 的缩写，用来为动力学运动建模工作流程提供帮助， 基于 NumPy, SciPy, IPython 和 matplotlib。
- PyMC – 马尔科夫链蒙特卡洛采样工具。
- RDKit – 化学信息学和机器学习软件。
- SciPy – 由一些基于 Python ，用于数学，科学和工程的开源软件构成的生态系统。
- statsmodels – 统计建模和计量经济学。
- SymPy – 一个用于符号数学的 Python 库。
- zipline – 一个 Python 算法交易库。
进行数据可视化的库。 参见: awesome-javascript。
- matplotlib – 一个 Python 2D 绘图库。
- bokeh – 用 Python 进行交互式 web 绘图。
- ggplot – ggplot2 给 R 提供的 API 的 Python 版本。
- plotly – 协同 Python 和 matplotlib 工作的 web 绘图库。
- pygal – 一个 Python SVG 图表创建工具。
- pygraphviz – Graphviz 的 Python 接口。
- PyQtGraph – 交互式实时2D/3D/图像绘制及科学/工程学组件。
- SnakeViz – 一个基于浏览器的 Python’s cProfile 模块输出结果查看工具。
- vincent – 把 Python 转换为 Vega 语法的转换工具。
- VisPy – 基于 OpenGL 的高性能科学可视化工具。
计算机视觉库。
机器学习机器学习库。 参见: awesome-machine-learning.
- Crab – 灵活、快速的推荐引擎。
- gensim – 人性化的话题建模库。
- hebel – GPU 加速的深度学习库。
- NuPIC – 智能计算 Numenta 平台。
- pattern – Python 网络挖掘模块。
- PyBrain – 另一个 Python 机器学习库。
- Pylearn2 – 一个基于 Theano 的机器学习库。
- python-recsys – 一个用来实现推荐系统的 Python 库。
- scikit-learn – 基于 SciPy 构建的机器学习 Python 模块。
- pydeep – Python 深度学习库。
- vowpalporpoise – 轻量级 Vowpal Wabbit 的 Python 封装。
- skflow – 一个 TensorFlow 的简化接口(模仿 scikit-learn)。
MapReduce 框架和库。
- dpark – Spark 的 Python 克隆版，一个类似 MapReduce 的框架。
- dumbo – 这个 Python 模块可以让人轻松的编写和运行 Hadoop 程序。
- luigi – 这个模块帮你构建批处理作业的复杂流水线。
- mrjob – 在 Hadoop 或 Amazon Web Services 上运行 MapReduce 任务。
- PySpark – Spark 的 Python API 。
- streamparse – 运行针对事实数据流的 Python 代码。集成了Apache Storm。
使用 Python 进行函数式编程。
- CyToolz – Toolz 的 Cython 实现 : 高性能函数式工具。
- fn.py – 在 Python 中进行函数式编程 : 实现了一些享受函数式编程缺失的功能。
- funcy – 炫酷又实用的函数式工具。
- Toolz – 一组用于迭代器，函数和字典的函数式编程工具。
用来访问第三方 API的库。 参见： List of Python API Wrappers and Libraries。
- apache-libcloud – 一个为各种云设计的 Python 库。
- boto – Amazon Web Services 的 Python 接口。
- django-wordpress – WordPress models and views for Django.
- facebook-sdk – Facebook 平台的 Python SDK.
- facepy – Facepy 让和 Facebook’s Graph API 的交互变得更容易。
- gmail – Gmail 的 Python 接口。
- google-api-python-client – Python 用的 Google APIs 客户端库。
- gspread – Google 电子表格的 Python API.
- twython – Twitter API 的封装。
用于 DevOps 的软件和库。
- Ansible – 一个非常简单的 IT 自动化平台。
- SaltStack – 基础设施自动化和管理系统。
- OpenStack – 用于构建私有和公有云的开源软件。
- Docker Compose – 快速，分离的开发环境，使用 Docker。
- Fabric – 一个简单的，Python 风格的工具，用来进行远程执行和部署。
- cuisine – 为 Fabric 提供一系列高级函数。
- Fabtools – 一个用来编写超赞的 Fabric 文件的工具。
- gitapi – Git 的纯 Python API。
- hgapi – Mercurial 的纯 Python API。
- honcho – Foreman的 Python 克隆版，用来管理基于Procfile的应用。
- pexpect – Controlling interactive programs in a pseudo-terminal like 在一个伪终端中控制交互程序，就像 GNU expect 一样。
- psutil – 一个跨平台进程和系统工具模块。
- supervisor – UNIX 的进程控制系统。
任务调度库。
- APScheduler – 轻巧但强大的进程内任务调度，使你可以调度函数。
- django-schedule – 一个 Django 排程应用。
- doit – 一个任务执行和构建工具。
- gunnery – 分布式系统使用的多用途任务执行工具 ，具有 web 交互界面。
- Joblib – 一组为 Python 提供轻量级作业流水线的工具。
- Plan – 如有神助地编写 crontab 文件。
- schedule – 人性化的 Python 任务调度库。
- Spiff – 使用纯 Python 实现的强大的工作流引擎。
- TaskFlow – 一个可以让你方便执行任务的 Python 库，一致并且可靠。
使用外来函数接口的库。
- cffi – 用来调用 C 代码的外来函数接口。
- ctypes – (Python 标准库) 用来调用 C 代码的外来函数接口。
- PyCUDA – Nvidia CUDA API 的封装。
- SWIG – 简化的封装和接口生成器。
让 Python 更快的库。
- Cython – 优化的 Python 静态编译器。使用类型混合使 Python 编译成 C 或 C++ 模块来获得性能的极大提升。
- PeachPy – 嵌入 Python 的 x86-64 汇编器。可以被用作 Python 内联的汇编器或者是独立的汇编器，用于 Windows, Linux, OS X, Native Client 或者 Go 。
- PyPy – 使用 Python 实现的 Python。解释器使用黑魔法加快 Python 运行速度且不需要加入额外的类型信息。
- Pyston – 使用 LLVM 和现代 JIT 技术构建的 Python 实现，目标是为了获得很好的性能。
- Stackless Python – 一个强化版的 Python。
在 Windows 平台上进行 Python 编程。
- Python(x,y) – 面向科学应用的 Python 发行版，基于 Qt 和 Spyder。
- pythonlibs – 非官方的 Windows 平台 Python 扩展二进制包。
- PythonNet – Python 与 .NET 公共语言运行库 (CLR)的集成。
- PyWin32 – 针对 Windows 的Python 扩展。
- WinPython – Windows 7/8 系统下便携式开发环境。
用来进行网络可视化和SDN(软件定义网络)的工具和库。
- Mininet – 一款流行的网络模拟器以及用 Python 编写的 API。
- POX – 一个针对基于 Python 的软件定义网络应用（例如 OpenFlow SDN 控制器）的开源开发平台。
- Pyretic – 火热的 SDN 编程语言中的一员，为网络交换机和模拟器提供强大的抽象能力。
- SDX Platform – 基于 SDN 的 IXP 实现，影响了 Mininet, POX 和 Pyretic。
用来对硬件进行编程的库。
- ino -操作Arduino的命令行工具。
- Pyro – Python 机器人编程库。
- PyUserInput – 跨平台的，控制鼠标和键盘的模块。
- scapy – 一个非常棒的操作数据包的库。
- wifi – 一个 Python 库和命令行工具用来在 Linux 平台上操作WiFi。
- Pingo – Pingo 为类似Raspberry Pi，pcDuino， Intel Galileo等设备提供统一的API用以编程。
帮助从 Python 2 向 Python 3迁移的库。
- Python-Future – 这就是 Python 2 和 Python 3 之间丢失的那个兼容性层。
- Python-Modernize – 使 Python 代码更加现代化以便最终迁移到 Python 3。
- Six – Python 2 和 3 的兼容性工具。
不属于上面任何一个类别，但是非常有用的库。
- blinker – 一个快速的 Python 进程内信号/事件分发系统。
- itsdangerous – 一系列辅助工具用来将可信的数据传入不可信的环境。
- pluginbase – 一个简单但是非常灵活的 Python 插件系统。
- Pychievements – 一个用来创建和追踪成就的 Python 框架。
- Tryton – 一个通用商务框架。
Python 实现的算法和设计模式。
- algorithms -一个 Python 算法模块
- python-patterns – Python 设计模式的集合。
- sortedcontainers – 快速，纯 Python 实现的SortedList，SortedDict 和 SortedSet 类型。
编辑器和 IDE 的插件
- Emacs
- Elpy – Emacs Python 开发环境。
- Sublime Text
- SublimeJEDI – 一个 Sublime Text 插件，用来使用超赞的自动补全库 Jedi。
- Anaconda – Anaconda 把你的 Sublime Text 3 变成一个功能齐全的 Python IDE。
- Vim
- YouCompleteMe – 引入基于 Jedi 的 Python 自动补全引擎。
- Jedi-vim – 绑定 Vim 和 Jedi 自动补全库对 Python 进行自动补全。
- Python-mode – 将 Vim 变成 Python IDE 的一款多合一插件。
- Visual Studio
- PTVS – Visual Studio 的 Python 工具
流行的 Python 集成开发环境。
- PyCharm – 商业化的 Python IDE ，由 JetBrains 开发。也有免费的社区版提供。
- LiClipse – 基于 Eclipse 的免费多语言 IDE 。使用 PyDev 来支持 Python 。
- Spyder – 开源 Python IDE。
在线工具和简化开发的 API 。
持续集成参见: awesome-CIandCD.
- Travis CI – 一个流行的工具，为你的开源和私人项目提供持续集成服务。(仅支持 GitHub)
- CircleCI – 一个持续集成工具，可以非常快速的进行并行测试。 (仅支持 GitHub)
- Vexor CI – 一个为私人 app 提供持续集成的工具，支持按分钟付费。
- Wercker – 基于 Docker 平台，用来构建和部署微服务。
- Codacy – 自动化代码审查，更加快速的发布高质量代码。对于开源项目是免费的。
- QuantifiedCode – 一个数据驱动、自动、持续的代码审查工具。
在这里可以找到新的 Python 库。
网站- r/Python
- CoolGithubProjects
- Django Packages
- Full Stack Python
- Python 3 Wall of Superpowers
- Python Hackers
- Python ZEEF
- Trending Python repositories on GitHub today
- PyPI Ranking
伯乐在线已在 GitHub 上发起「Python 资源大全中文版」的整理。欢迎扩散、欢迎加入。
发现居然没人提lxml
pip install lxml之后可以用lxml提供的xpath解析器来解析HTML。xpath是一套标准的HTML DOM查询语法，再不用Beaultiful Soup4那么罗嗦又不好维护的语法了。而且最棒的是你可以直接从Firefox或者Chrome的development tool里复制某个DOM元素的xpath路径。
其他不论，光lxml使用C实现的代码，效率上就比bs4高很多。用过之后再也不想去用bs4了
pip install lxml之后可以用lxml提供的xpath解析器来解析HTML。xpath是一套标准的HTML DOM查询语法，再不用Beaultiful Soup4那么罗嗦又不好维护的语法了。而且最棒的是你可以直接从Firefox或者Chrome的development tool里复制某个DOM元素的xpath路径。
其他不论，光lxml使用C实现的代码，效率上就比bs4高很多。用过之后再也不想去用bs4了
知乎用户
，热爱Python，Data Debugger，机器学习进…
啊菠萝、engineer lii、知乎用户
等人赞同
不可或缺就是requests了，某种程度上之前的urllib裸写爬虫简直就是反人类。。。
其实beautiful soup也挺不错的，p
其实beautiful soup也挺不错的，p
太多了
网络
网络
调试和逆向工程
- Scapy, Scapy3k: 发送，嗅探，分析和伪造网络数据包。可用作交互式包处理程序或单独作为一个库。
- pypcap, Pcapy, pylibpcap: 几个不同 libpcap 捆绑的python库
- libdnet: 低级网络路由，包括端口查看和以太网帧的转发
- dpkt: 快速，轻量数据包创建和分析，面向基本的 TCP/IP 协议
- Impacket: 伪造和解码网络数据包，支持高级协议如 NMB 和 SMB
- pynids: libnids 封装提供网络嗅探，IP 包碎片重组，TCP 流重组和端口扫描侦查
- Dirtbags py-pcap: 无需 libpcap 库支持读取 pcap 文件
- flowgrep: 通过正则表达式查找数据包中的 Payloads
- Knock Subdomain Scan: 通过字典枚举目标子域名
- SubBrute: 快速的子域名枚举工具
- Mallory: 可扩展的 TCP/UDP 中间人代理工具，可以实时修改非标准协议
- Pytbull: 灵活的 IDS/IPS 测试框架（附带超过300个测试样例）
Fuzzing
- Paimei: 逆向工程框架，包含 PyDBG, PIDA,pGRAPH
- Immunity Debugger: 脚本 GUI 和命令行调试器
- mona.py: Immunity Debugger 中的扩展，用于代替 pvefindaddr
- IDAPython: IDA pro 中的插件，集成 Python 编程语言，允许脚本在 IDA Pro 中执行
- PyEMU: 全脚本实现的英特尔32位仿真器，用于恶意软件分析
- pefile: 读取并处理 PE 文件
- pydasm: Python 封装的 libdasm
- PyDbgEng: Python 封装的微软 Windows 调试引擎
- uhooker: 截获 DLL 或内存中任意地址可执行文件的 API 调用
- diStorm: AMD64 下的反汇编库
- python-ptrace: Python 写的使用 ptrace 的调试器
- vdb/vtrace: vtrace 是用 Python 实现的跨平台调试 API, vdb 是使用它的调试器
- Androguard: 安卓应用程序的逆向分析工具
- Capstone: 一个轻量级的多平台多架构支持的反汇编框架。支持包括ARM,ARM64,MIPS和x86/x64平台。
- PyBFD: GNU 二进制文件描述(BFD)库的 Python 接口
Web
- Sulley: 一个模糊器开发和模糊测试的框架，由多个可扩展的构件组成的
- Peach Fuzzing Platform: 可扩展的模糊测试框架(v2版本 是用 Python 语言编写的)
- antiparser: 模糊测试和故障注入的 API
- TAOF: (The Art of Fuzzing, 模糊的艺术)包含 ProxyFuzz, 一个中间人网络模糊测试工具
- untidy: 针对 XML 模糊测试工具
- Powerfuzzer: 高度自动化和可完全定制的 Web 模糊测试工具
- SMUDGE: 纯 Python 实现的网络协议模糊测试
- Mistress: 基于预设模式，侦测实时文件格式和侦测畸形数据中的协议
- Fuzzbox: 媒体多编码器的模糊测试
- Forensic Fuzzing Tools: 通过生成模糊测试用的文件，文件系统和包含模糊测试文件的文件系统，来测试取证工具的鲁棒性
- Windows IPC Fuzzing Tools: 使用 Windows 进程间通信机制进行模糊测试的工具
- WSBang: 基于 Web 服务自动化测试 SOAP 安全性
- Construct: 用于解析和构建数据格式(二进制或文本)的库
- fuzzer.py(feliam): 由 Felipe Andres Manzano 编写的简单模糊测试工具
- Fusil: 用于编写模糊测试程序的 Python 库
取证
- Requests: 优雅，简单，人性化的 HTTP 库
- HTTPie: 人性化的类似 cURL 命令行的 HTTP 客户端
- ProxMon: 处理代理日志和报告发现的问题
- WSMap: 寻找 Web 服务器和发现文件
- Twill: 从命令行界面浏览网页。支持自动化网络测试
- Ghost.py: Python 写的 WebKit Web 客户端
- Windmill: Web 测试工具帮助你轻松实现自动化调试 Web 应用
- FunkLoad: Web 功能和负载测试
- spynner: Python 写的 Web浏览模块支持 Javascript/AJAX
- python-spidermonkey: 是 Mozilla JS 引擎在 Python 上的移植，允许调用 Javascript 脚本和函数
- mitmproxy: 支持 SSL 的 HTTP 代理。可以在控制台接口实时检查和编辑网络流量
- pathod/pathoc: 变态的 HTTP/S 守护进程，用于测试和折磨 HTTP 客户端
- Volatility: 从 RAM 中提取数据
- Rekall: Google 开发的内存分析框架
- LibForensics: 数字取证应用程序库
- TrIDLib: Python 实现的从二进制签名中识别文件类型
- aft: 安卓取证工具集恶意软件分析
- pyew: 命令行十六进制编辑器和反汇编工具，主要用于分析恶意软件
- Exefilter: 过滤 E-mail，网页和文件中的特定文件格式。可以检测很多常见文件格式，也可以移除文档内容。
- pyClamAV: 增加你 Python 软件的病毒检测能力
- jsunpack-n: 通用 JavaScript 解释器，通过模仿浏览器功能来检测针对目标浏览器和浏览器插件的漏洞利用
- yara-python: 对恶意软件样本进行识别和分类
- phoneyc: 纯 Python 实现的蜜罐
- CapTipper: 分析，研究和重放 PCAP 文件中的 HTTP 恶意流量
其他有用的库和工具
- peepdf: Python 编写的PDF文件分析工具，可以帮助检测恶意的PDF文件
- Didier Stevens’ PDF tools: 分析，识别和创建 PDF 文件(包含PDFiD，pdf-parser，make-pdf 和 mPDF)
- Opaf: 开放 PDF 分析框架，可以将 PDF 转化为 XML 树从而进行分析和修改。
- Origapy: Ruby 工具 Origami 的 Python 接口，用于审查 PDF 文件
- pyPDF2: Python PDF 工具包包含：信息提取，拆分，合并，制作，加密和解密等等
- PDFMiner: 从 PDF 文件中提取文本
- python-poppler-qt4: Python 写的 Poppler PDF 库，支持 Qt4
- 杂项
- InlineEgg: 使用 Python 编写的具有一系列小功能的工具箱
- Exomind: 是一个利用社交网络进行钓鱼攻击的工具
- RevHosts: 枚举指定 IP 地址包含的虚拟主句
- simplejson: JSON 编码和解码器，例如使用 Google’s AJAX API
- PyMangle: 命令行工具和一个创建用于渗透测试使用字典的库
- Hachoir: 查看和编辑二进制流
- IPython: 增强的交互式 Python shell
- Beautiful Soup: HTML 解析器
- matplotlib: 制作二维图
- Mayavi: 三维科学数据的可视化与绘图
- RTGraph3D: 在三维空间中创建动态图
- Twisted: Python 语言编写的事件驱动的网络框架
- Suds: 一个轻量级的基于SOAP的python客户端
- M2Crypto: Python 语言对 OpenSSL 的封装
- NetworkX: 图库(边, 节点)
- Pandas: 基于 Numpy 构建的含有更高级数据结构和工具的数据分析包
- pyparsing: 通用解析模块
- lxml: 使用 Python 编写的库，可以迅速、灵活地处理 XML
- Whoosh: 纯python实现的全文搜索组件
- Pexpect: 控制和自动化程序
- Sikuli: 使用 Jython 脚本自动化基于截图进行视觉搜索
- PyQt 和PySide: Python 捆绑的 Qt 应用程序框架和 GUI 库
requests
$ you-get http://tv.sohu.com/20141115/n406064831.shtml
YouTube/优酷/土豆/搜狐/bilibili
给网址就下视频啊! 太好用了, 有木有
$ pip install you-get
scikit-learn
知乎用户
，主业Android，业余玩python
相见恨晚只推荐一个
Sphinx 爱上写文档
What users say:
“Cheers for a great tool that actually makes programmers want to write documentation!”
相见恨晚的库有很多啊
决定利用午休的时间，把曾经惊艳过我的库都整理出来好了
还不勇敢的点赞么亲
马上为你呈上一锅热腾腾的美味，当当当当
web框架:
微信框架：
网络：
爬虫： 系统方面：
ORM：
模板引擎：
图像处理：
命令行应用：
静态网站生成器 数据处理：
其他：
-------------我是分割线-------------
此外我对django关注比较多，专门列出django部分
等有空再对其做细分
决定利用午休的时间，把曾经惊艳过我的库都整理出来好了
还不勇敢的点赞么亲
马上为你呈上一锅热腾腾的美味，当当当当
web框架:
微信框架：
网络：
爬虫： 系统方面：
ORM：
模板引擎：
图像处理：
命令行应用：
静态网站生成器 数据处理：
其他：
-------------我是分割线-------------
此外我对django关注比较多，专门列出django部分
等有空再对其做细分
pip
没有pip的时候，装你们说的那些库真是蛋疼啊。
没有pip的时候，装你们说的那些库真是蛋疼啊。
应用：
之前做的好货啦 http://haohuola.com/，这个网站，从别人网站抓取优惠信息之后，那么如何把这么多信息进行分类，这个时候就用的jieba了，分词之后提取关键词，自动化把这些信息归类！
我主要搞machine learning。前面提的就不重复了，另外还有两个很喜欢很常用的。
1，Graphlab
这个是真正的machine learning for big data, 顺利解决数据太大memory不够的各种问题，可视化也是一个亮点。
2，Theano
实现deep learning中的各种neural network很方便，而且非常易于上手，有好的gpu速度也不错。
1，Graphlab
这个是真正的machine learning for big data, 顺利解决数据太大memory不够的各种问题，可视化也是一个亮点。
2，Theano
实现deep learning中的各种neural network很方便，而且非常易于上手，有好的gpu速度也不错。
networkx (
Overview — NetworkX 1.7 documentation)
处理graph（如社交网络之类的问题）很有帮助
处理graph（如社交网络之类的问题）很有帮助
扫一扫
5379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
