zhuiqiuuuu的博客

Python time strftime()方法描述Python time strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数format决定。语法strftime()方法语法：time.strftime(format[, t])参数format -- 格式字符串。t -- 可选的参数t是一个str

Python的json模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() ， 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个Python数据结构转换为JSON：?123456789

在Python 2.7 后，不推荐使用 optparse, 而推荐使用 argparse.其它的不多说，简单的分析下我遇到的问题：我是想用 argparse 来解析不定长的命令行参数例如：[python] view plain copyimport argparse  import sys    parser = 

最近，又接触到一个奇葩的接口，基于老板不断催促赶时间的情况下，在重写Java接口和复用已有的Python脚本的两条路中选择了后者，但是其实后者并没有好很多，因为我是一个对python的认识仅限于其名称拼写的人，所以，我将把我这一天内从配置环境到最终刚成功调用脚本的过程整理一下，分享给大家。首先，我先大体上整理一下我的思路（以下以py代替python）： 1. py脚本如何运行？ 

Base64编码是一种“防君子不防小人”的编码方式。广泛应用于MIME协议，作为电子邮件的传输编码，生成的编码可逆，后一两位可能有“=”，生成的编码都是ascii字符。优点：速度快，ascii字符，肉眼不可理解缺点：编码比较长，非常容易被破解，仅适用于加密非关键信息的场合Python中进行Base64编码和解码>>> import base64>>> s = '我是字符串'

转载地址http://blog.youkuaiyun.com/infin1te/article/details/50445217前言Anaconda是一个Python的科学计算发行版，包含了超过300个流行的用于科学、数学、工程和数据分析的python Packages。由于Python有2和3两个版本，因此Anaconda也在Python2和Python3的基础上推出了两

python numpy中nonzero()的用法当使用布尔数组直接作为下标对象或者元组下标对象中有布尔数组时，都相当于用nonzero()将布尔数组转换成一组整数数组，然后使用整数数组进行下标运算。nonzeros(a)返回数组a中值不为零的元素的下标，它的返回值是一个长度为a.ndim(数组a的轴数)的元组，元组的每个元素都是一个整数数组，其值为非零元素的下标在对应

createGlobalTempView(name)Creates a global temporary view with this DataFrame.The lifetime of this temporary view is tied to this Spark application. throws TempTableAlreadyExistsException, if th

作用：将每行的前len-1列数据抽成一个矩阵，将最后的一列作为另一个矩阵每行各数据间隔是tab(\t)def loadDataSet(fileName): #general function to parse tab -delimited floats numFeat = len(open(fileName).readline().split('\t')) - 1 #ge

转载：http://blog.youkuaiyun.com/maoersong/article/details/23823925一、用在数组[python] view plain copy>>> a = [[1,3],[2,4],[3,5]]  >>> a = array(a)  >>> a.flatten()  array([1, 

字符串格式化-format()转载请标明出处(http://blog.youkuaiyun.com/lis_12/article/details/52712994).普通格式化方法(%s%d)生成格式化的字符串,其中s是一个格式化字符串,d是一个十进制数;格式化字符串包含两部分:普通的字符和转换说明符(见下表),将使用元组或映射中元素的字符串来替换转换说明符

1.sql=""      insert overwrite table app.app_od_info partition(dt='{startT}')      select so_no,so_num      from table1"""spark.sql(sql)2.sql="""     select so_no,so_num,

描述zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。语法zip 语法：zip([iterable, ...])参数说明：iterabl -- 一个或多个迭代器;返回值

【问题】目前有一字符串s = "['a', 'b'],['c', 'd']"，想把它分开成为两个列表：list1 = ['a', 'b']list2 = ['c', 'd']之后使用itertools.product()求笛卡尔积，应该写成：1 for i in itertools.product(list1, list2):2 print i结果为：('a', 'c')('a', ...

一、cache和persist的区别昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。cache和persist的区别基于Spark 1.4.1 的源码，可以看到/** ...

https://blog.youkuaiyun.com/funfun0/article/details/77802590

%matplotlib inline是一个魔法函数（Magic Functions）。官方给出的定义是：IPython有一组预先定义好的所谓的魔法函数（Magic Functions），你可以通过命令行的语法形式来访问它们。可见“%matplotlib inline”就是模仿命令行来访问magic函数的在IPython中独有的形式。magic函数分两种：一种是面向行的，另一种是面向单元型的。行ma...

一、简介：argparse是python用于解析命令行参数和选项的标准模块，用于代替已经过时的optparse模块。argparse模块的作用是用于解析命令行参数，例如python parseTest.py input.txt output.txt --user=name --port=8080。二、使用步骤：1：import argparse2：parser =

往hive表中插入数据法1：dataFrame数据写入hive表def log2Hive():log=hiveContext.createDataFrame([{"dt":dt,"types":types,"message":msg,"currtime":currTime}]).coalesce(1)#types: "INFO" ,"ERROR"log.write.mode("ap

spark执行hivesqlstr法1：spark = SparkSession \   .builder \   .appName("app_level") \   .enableHiveSupport() \.getOrCreate() spark.sql(sql) 法2：os.system("export PYSPARK_PYTHON=python

python使用datetime模块timedelta实现日期时间相加：python计算明天的日期：from datetime import datetimefrom datetime import timedeltanow = datetime.now()aDay = timedelta(days=1)now = now + aDayprint now.strftime(

转载：http://blog.youkuaiyun.com/lansetiankong12/article/details/51992463spark sql基本使用方法介绍Spark中可以通过spark sql 直接查询Hive或impala中的数据， 一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master

#!/usr/bin/env python3# -*- coding: utf-8 -*-__author__ = 'hh'import sysimport osimport datetimeimport timefrom pyspark.sql import SparkSessionfrom pyspark.sql import Row

1.subprocess.call(*popenargs, **kwargs)　　运行命令。该函数将一直等待到子进程运行结束，并返回进程的returncode。如果子进程不需要进行交互,就可以使用该函数来创建。2.subprocess.Popensubprocess模块中只定义了一个类: Popen。可以使用Popen来创建进程，并与进程进行复杂的交互。它的构造函数如下：s

#!/usr/bin/python# -*- coding: utf-8 -*-__author__ = 'hh'# import os# os.system("export PYSPARK_PYTHON=python2.7.5")from subprocess import callfile_path = "./ip_top10.py"

http://zhao-rock.iteye.com/blog/2328161介绍一下Spark将RDD转换成DataFrame的两种方式。 1.通过是使用case class的方式，不过在scala 2.10中最大支持22个字段的case class,这点需要注意 2.是通过spark内部的StructType方式，将普通的RDD转换成DataFrame 装换成DataFrame

Python Tuple(元组) tuple()方法Python 元组描述Python 元组 tuple() 函数将列表转换为元组。语法tuple()方法语法：tuple( seq )参数seq -- 要转换为元组的序列。返回值返回元组。实例以下实例展示了 tuple()函数的使用方法：

http://www.runoob.com/python/python-func-sorted.htmlPython sorted() 函数 Python 内置函数描述sorted() 函数对所有可迭代的对象进行排序操作。sort 与 sorted 区别：sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行

转载自：http://www.cnblogs.com/denny402/p/5121501.html一提到数字图像处理编程，可能大多数人就会想到matlab，但matlab也有自身的缺点：1、不开源，价格贵2、软件容量大。一般3G以上，高版本甚至达5G以上。3、只能做研究，不易转化成软件。因此，我们这里使用Python这个脚本语言来进行数字图像处

Python time strptime()方法描述Python time strptime() 函数根据指定的格式把一个时间字符串解析为时间元组。语法strptime()方法语法：time.strptime(string[, format])参数string -- 时间字符串。format -- 格式化字符串。返回值

from datetime import datetime as dat,timedelta#今天的日期print dat.today()#输出结果 2017-05-30 09:33:32.284000#今天的日期 格式yyyy-mm-ddprint dat.today().date()#输出结果 2017-05-30dt_today=dat.strftime(

如何在windows下安装配置pyspark notebook第一步：安装anacondaanaconda自带一系列科学计算包下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3接着配置环境变量：如我安装在D盘下   试一下命令行启动，确保ipython从anaconda启动 第二步：安装spark（需要提前安装

关于pass，百度查到的常用的解释如下：1、空语句 do nothing2、保证格式完整 3、保证语义完整 以if语句为例，在c或c++/java中：?123456if(true);//do nothingelse{//do somet

import org.apache.spark.sql.functions._val longLength = udf((bookTitle: String, length: Int) => bookTitle.length > length)import sqlContext.implicits._val booksWithLongTitle = dataFrame.filter(lo

有两种方式：1、直接使用python xxxx.py执行。其中python可以写成python的绝对路径。使用which python进行查询。2、在文件的头部（第一行）写上#!/usr/bin/python2.7，这个地方使用python的绝对路径，就是上面用which python查询来的结果。然后在外面就可以使用./xxx.py执行了。因为在linux中，python啊shell这些程序都是

参考：http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001374738449338c8a122a7f2e047899fc162f4a7205ea3000################################################

转载：https://blog.youkuaiyun.com/shomy_liu/article/details/44141483 Python 的datetime模块 其实就是date和time 模块的结合， 常见的属性方法都比较常用 比如： datetime.day,datetime.month,datetime.year 分别表示一个datetime对象的日，月，年；如下from datet...