不问归期的博客

我们在写完代码后，一般需要对代码进行优化，而代码优化的前提是需要了解性能瓶颈在什么地方，程序运行的主要时间是消耗在哪里，对于比较复杂的代码可以借助一些工具来定位，python 内置了丰富的性能分析工具，如 profile与 hotshot 等。其中 profiler 是 python 自带的一组程序，能够描述程序运行时候的性能，并提供各种统计帮助用户定位程序的性能瓶颈。对于Python，比较常用的Profile工具有三个：profile 纯python语言实现，返回函数整体损耗。（自带）cProfi

1 PandasGUI简介Pandasgui是一个开源的python模块，它为pandas创建了一个GUI界面，我们可以在其中使用pandas的功能分析数据和使用不同的功能，以便可视化和分析数据，并执行探索性数据分析。PandasGUI是一个交互式的数据操作界面，类似于Excel，但是其对于数据处理更加方便快捷，共拥有7项功能特点：• 查看DataFrames和Series数据• 交互式绘图• 数据筛选• 统计摘要• 数据编辑和复制/粘贴• 拖放导入CSV文件• 搜索工具栏官网地址2

1 Dash简介Dash 是一个用于构建Web应用程序的 Python 库，无需 JavaScript 。Dash 建立在 Plotly.js、React 和 Flask 之上，将现代 UI 元素（如下拉列表、滑块和图形）与你的分析 Python 代码相结合。Dash使用pip即可安装。用它可以启动一个http server， python调用它做图，而它内部将这些图置换成JavaScript显示，进行数据分析和展示。可以说非常漂亮，感兴趣可以点击以下链接去看看吧。官方demo2 Dash安装

我们在使用Python开发是，免不了要安装各种依赖包，官方推荐命令如下：#pip install package使用上述命令安装依赖包时，默认的下载源pypi.python.org/pypi 下载，服务器在国外自然比减慢。因此笔者在这里总结一些常用的镜像源。1 清华：https://pypi.tuna.tsinghua.edu.cn/simple2.豆瓣：https://pypi.douban.com/simple/3.阿里云：https://mirrors.aliyun.com/pypi/si

Dask手册1 Dask简介Dask是一个并行计算库，能在集群中进行分布式计算，能以一种更方便简洁的方式处理大数据量，与Spark这些大数据处理框架相比较，Dask更轻。Dask更侧重与其他框架，如：Numpy，Pandas，Scikit-learning相结合，从而使其能更加方便进行分布式并行计算。Dask存在三种最基本的数据结构，分别是：Arrays、Dataframes以及Bags。Dask中的Arrays（位于包dask.arrays下），其实就是对Numpy中的ndarray的部分接口进

1 pyarrow简介pyarrow是用于Apache Arrow的Python库。这个库为Arrow c++库提供的功能提供了Python API，以及用于与panda、NumPy和Python生态系统中的其他软件进行箭头集成和互操作性的工具。Apache Arrow是一个用于内存分析的开发平台。它包含一组技术，使大数据系统能够快速处理和移动数据。Arrow特点Format： Apache Arrow为平面和层次数据定义了一种与语言无关的柱状内存格式，这种格式的组织用于在现代硬件(如cpu和gpu)