最近我自己也在利用业余时间自学Python,而且深深地发现利用好编程实用小工具,代码简直在狂奔,工作效率也在大大提升。为了让大家能像我一样神清气爽,不再成为工作的苦役,我决定发扬人道主义精神,把我压箱子底的实用工具拿出来与大家共享。主要涉及爬虫相关工具、web开发工具以及数据库工具,希望我的分享对大家的学习和工作有帮助。
爬虫相关工具:
- Arachnid:微型爬虫框架,含有一个小型HTML解析器,基于Java的web spider框架,下载包中包含两个spider应用程序例子用于演示如何使用该框架。
- Crawlzilla:安装简易,拥有中文分词功能,可以轻松建立搜索引擎的自由软件。
- Leopdo:用Java编写的web搜索和爬虫,包括全文和分类垂直搜索,以及分词系统。
- MetaSeeker:可实现网页抓取、信息提取、数据抽取工具包,操作简单,是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索解决方案。
- Spiderman:灵活、扩展性强,微内核+插件式架构,通过简单的配置就可以完成数据抓取,无需编写一句代码。
- Webmagic:是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
- QuickRecon:是一个简单的信息收集工具,使用python编写,支持linux和 windows操作系统。
- PyRailgun:一款非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块。
- OpenWebSpider:一个开源多线程Web Spider和包含许多有趣功能的搜索引擎。
web开发工具:
- Parcel:快速,零配置的Web应用程序捆绑器。
- Feather:简单漂亮的开源图标。
- Hyperapp v1.0:用于构建现代UI应用程序的1kb库。
- Sizzy:快速测试响应式网站的工具。
- Heml:用于构建响应式电子邮件的开源标记语言。
- Cypress:对浏览器中运行的内容进行快速、简便和可靠的测试。
- FlowUp:可跟踪应用的整体性能,并深入了解各种关键性能指标,如FPS,内存使用情况,CPU使用率,磁盘使用情况等。
- Stetho:一款功能强大的Android开源调试平台,由Facebook开发。
- Android Asset Studio:一组简单易用的工具,用于生成设计和开发。Android应用程序时需要的各种类型的图标。
- Android调试数据库:用于调试Android数据库。
- Vysor:允许将真实设备镜像到计算机上。
- LeakCanary:用于Android和Java的内存泄漏检测库。
- Android Arsenal:可以找到Android的库,工具和项目的分类目录。
数据库工具
- InfoSphere:InfoSphere是一款创新、运行在开源平台Eclipse上的数据建模工具。能够帮助商业用户建立逻辑、物理模型图,并且之后能非常方便的在各种不同的应用和系统中进行使用。
- PowerDesigner:支持非常强大的元数据信息库和各种不同格式的输出。拥有一个优雅且人性化的界面,能快速帮助用户解决专业问题。
- Navicat for MySQL:上手最快的操作数据库的软件。
- HeidiSQL:数据库管理软件。
- Navicat Lite:支持的数据库包括 MySQL、Oracle、SQLite、PostgreSQL 和 SQL Server等。
- MySQL Workbench:一款图形化的数据库设计工具。
- Enterprise Architect:一款功能丰富的数据建模工具,拥有动态运行模拟模型的能力,用以验证模型和更加正确和深入的理解原来商业系统运作的方式。
- DBeaver:DBeaver是一个通用的数据库管理工具和SQL客户端,提供了一个图形界面用来查看数据库结构、执行SQL查询和脚本,浏览和导出数据,处理BLOB/CLOB数据,修改数据库结构等。