自由 平等~忠诚 奉献

python 并行计算

大数据时代来临，数据可视化作为一个重要环节，受到越来越多的重视。https://github.com/holtzy/The-Python-Graph-Gallery 很好的博客，立贴于此，后面会写一些数据可视化的文章。...

如果需要{}是自己实际需要的字符，需要用{{}}作为转义 以下转自： https://pyformat.info/Basic formattingSimple positional formatting is probably the most common use-case. Use it if the order of your arguments is not likely to chang

我们在对数据进行清洗时，经常要用到split-apply-combine，首先对数据按照一定的标准进行split（分组），然后对每组数据进行apply（处理），最后把结果combine（合并），在这一系列操作中就必须要用到 pandas的groupby函数。

很多时候我们拿到服务器的账号，只是一个普通用户，没有root权限，这没有关系。关键是没有pip、没有必要的python包。参考Stack Overflow给出解决方案，适用于python2.7, python3.x安装pipwget https://raw.github.com/pypa/pip/master/contrib/get-pip.pypython get-pip.py --user这里

## Difference between map, applymap and apply methods in Pandas - map、apply、applymap 三者使用差异https://stackoverflow.com/questions/19798153/difference-between-map-applymap-and-apply-methods-in-pandas

最近做一个系列博客，跟着stackoverflow学Pandas。专栏地址：http://blog.youkuaiyun.com/column/details/16726.html以 pandas作为关键词，在stackoverflow中进行搜索，随后安照 votes 数目进行排序： https://stackoverflow.com/questions/tagged/pandas?sort=votes&p

最近做一个系列博客，跟着stackoverflow学Pandas。 专栏地址：http://blog.youkuaiyun.com/column/details/16726.html以 pandas作为关键词，在stackoverflow中进行搜索，随后安照 votes 数目进行排序： https://stackoverflow.com/questions/tagged/pandas?sort=votes&

Pandas: change data type of columns - Pandas修改列的类型

#16.6.1.1. The Process classfrom multiprocessing import Processimport osimport timestart_time = time.time()def info(title): print(title) if hasattr(os, 'getppid'): # only available on

Adding new column to existing DataFrame in Python pandas - Pandas 添加列

Get list from pandas DataFrame column headers - Pandas 获取列名https://stackoverflow.com/questions/19482970/get-list-from-pandas-dataframe-column-headers获取DataFrame的列名是一个比较简单的操作，又以下几个方法：1. [column for column

## add one row in a pandas.DataFrame -DataFrame添加行https://stackoverflow.com/questions/10715965/add-one-row-in-a-pandas-dataframe不得不说，这个问题在stackoverflow有10个回答，303 votes，339k views但是最终没有得出一个比较好的答案。

Select rows from a DataFrame based on values in a column -pandas 筛选https://stackoverflow.com/questions/17071871/select-rows-from-a-dataframe-based-on-values-in-a-column-in-pandaspandas的筛选功能，跟excel的筛选功能类似，但是

How to iterate over rows in a DataFrame in Pandas-DataFrame按行迭代

原文在： https://stackoverflow.com/questions/14262433/large-data-work-flows-using-pandas文中提到了利用pandas对HDFStore的操作，因为我平时没有接触过特别大的数据，所以对这里不是很熟悉，所以我计划先略过该篇。等我了解了，在做进一步整理。

Delete column from pandas DataFrame - 删除列stackoverflow 地址：https://stackoverflow.com/questions/13411544/delete-column-from-pandas-dataframepandas 官方给出了对列的操作，可以参考：http://pandas.pydata.org/pandas-docs/stabl

Renaming columns in pandas - 列的重命名https://stackoverflow.com/questions/11346283/renaming-columns-in-pandas### 方法1```python>>> df = pd.DataFrame({'$a':[1,2], '$b': [10,20]})>>> df.columns = ['a', 'b']

Illumina Nextseq500 Miseq HiseqXten 测序仪 Q-score均采用下面的编码格式，仅作简要介绍。Q-scoreQ-score 在fastq中每个序列的第4行，代表测序错误的概率。Quality Score Q(X) ## Error Probability P(~X) Q40 ##

参考 http://pythonforbiologists.com/index.php/randomly-sampling-reads-from-a-fastq-file/最近要做一个二代测序的模拟，所以网上找了个小脚本，做了些注释，希望能够帮助大家。from __future__ import divisionimport randomnumber_to_sample = 3000000nu

本文更新地址:http://blog.youkuaiyun.com/tanzuozhev采用try-exception是python捕获异常的常用方式，但在代码频繁的使用着实麻烦，所以采用装饰器对try-catch进行了封装。import sys,tracebackdef try_except(f): def handle_problems(*args, **kwargs): try

本文最近更新地址 本文参考：http://blog.rstudio.org/2016/03/29/feather/R语言大神Hadley的有一力作：Feather。 Feature是一种文件格式，支持R语言和Python的交互式存储，速度更快。目前支持R语言的data.frame和Python pandas 的DataFrame。Feather收到了Apache arrow 项目的支持

构建词云的方法很多, 但是个人觉得python的wordcloud包功能最为强大,可以自定义图片. 官网: https://amueller.github.io/word_cloud/ github: https://github.com/amueller/word_cloud 例子: 字体使用的是 CabinSketch-Bold.ttf安装方法1pip install wordclo

crontab可以定时运行程序, 但是有时候程序会出现问题, 为了监控程序的运行我们可以查看 crontab的log, 但不幸的是linux(ubuntu)默认关闭crontab的log, 要想开启log, 可以这样.修改rsyslogsudo vim /etc/rsyslog.d/50-default.confvim中 cron.* /var/log/cron.log

本文在http://www.jb51.net/article/21007.htm的基础上修改1: os.listdir(path) //path为目录 功能相当于在path目录下执行dir命令，返回为list类型 print(os.listdir(‘..’)) 2: os.path.walk(path,visit,arg) path ：是将要遍历的目录 visit ：是一个函数指

pycurl 使用 跳转根据doi获取文献的最终url，而不获得原文（如想获得全文，可以修改 FOLLOWLOCATION为1）doi='10.1007/s12559-015-9328-x'storage = io.BytesIO() # python3， python2与此处不同，存储字符串c = pycurl.Curl() # 初始化对象c.setopt(c.URL, 'http://dx

添加提示信息#!/usr/bin/python3# -*- coding: utf-8 -*-"""ZetCode PyQt5 tutorialThis example shows a tooltip ona window and a button.author: Jan Bodnarwebsite: zetcode.comlast edited: January 2015"""impo

No module named ‘django.middleware.doc’在安装 django-cms 3.3 时 报错No module named ‘django.middleware.doc’在 stackoverflow上找到了答案 （http://stackoverflow.com/questions/18867686/improperlyconfigured-error-import

python 进度条 tqdmtqdm（读音：taqadum, تقدّم）在阿拉伯语中的意思是进展。tqdm可以在长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator)，是一个快速、扩展性强的进度条工具库。from tqdm import tqdmfor i in tqdm(range(9)): ...

ubuntu 12.04+python3+django1.8安装mysql sudo apt-get install mysql-server sudo apt-get isntall mysql-client sudo apt-get install libmysqlclient-devdjango1.8 中的mysql 只支持 MySQLdb, 而python3 没有MyS

阿里云部署django Ubuntu 12.04.5 + Apache2.2 + python3.3 + django1.8vsftpd 安装与配置 apt-get update apt-get install vsftpdftpd: version 2.3.5 修改 /etc/vsftpd.conf #anonymous_enable=YES 注释，避免匿名登录 loc

如果电脑同时装了 python2 和python3 运行 pip的时候回很麻烦， 我的最初是 pip3 安装python3 的包，后来 pip3 upgrade 之后pip也是安装python3的包， 那么这时候想装python2的包怎么办， 可以使用python -m pip install package_name