
知识点
从未知踏上大数据之路
这个作者很懒,什么都没留下…
展开
-
logging文档
###logging.basicConfig函数各参数:filename: 指定日志文件名filemode: 和file函数意义相同,指定日志文件的打开模式,'w'或'a'format: 指定输出的格式和内容,format可以输出很多有用信息,如上例所示:% (levelno)s: 打印日志级别的数值% (levelname)s: 打印日志级别名称% (pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0]% (filename)s: 打印当前执行程序名% (func原创 2021-09-14 16:45:52 · 347 阅读 · 0 评论 -
Base64简单加密
Base64加密字符串加密# 想将字符串转编码成base64,要先将字符串转换成二进制数据import base64import zlib# 先将字符串转换成二进制数据org_str = "print('hello')"bytes_str = org_str.encode("utf-8")# 再压缩# 得到的加密后的字符串compressed_str = zlib.compress(bytes_str)print(compressed_str)# 然后base64加密encod原创 2021-09-13 10:03:10 · 616 阅读 · 0 评论 -
Python2与Python3区别整合
一、数据类型方面1) 报错情况: TypeError: ‘range’ object does not support item assignment原因: range() 返回的是“range object”,而不是实际的list值解决方法: 将a = range(0,N)改为a = list(range(0,N))2) 报错情况:...原创 2020-08-20 16:04:47 · 129 阅读 · 0 评论 -
Kylin迁移安装文档
Kylin 安装下载从 Apache Kylin下载网站(https://kylin.apache.org/download/) 下载一个适用于您 Hadoop 版本的二进制文件。例如,适用于 HBase 1.x 的 Kylin 2.5.0 可通过如下命令行下载得到:cd /usr/local/wget http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz解压原创 2020-05-11 11:18:55 · 489 阅读 · 0 评论 -
pandas基本操作
一. 导入数据pd.read_csv(filename):从CSV文件导入数据pd.read_table(filename):从限定分隔符的文本文件导入数据pd.read_excel(filename):从Excel文件导入数据pd.read_sql(query, connection_object):从SQL表/库导入数据pd.read_json(json_string):从JSON格...原创 2019-09-09 16:18:13 · 175 阅读 · 0 评论 -
DASK
一、什么是DASK?Dask 是一个开源项目,为你提供 NumPy 数组、Pandas Dataframes 以及常规 list 的抽象,允许你使用多核处理器并行运行它们的操作。参考:在 Python 中,如何运用 Dask 数据进行并行数据分析...原创 2019-08-19 08:49:27 · 9058 阅读 · 0 评论 -
Flink 入门(Windows)
a原创 2019-07-25 16:49:08 · 149 阅读 · 0 评论 -
Python - matplotlib
import matplotlib.pyplot as pltplt.subplot(221) # 第一行的左图plt.subplot(222) # 第一行的右图plt.subplot(212) # 第二整行plt.show()# 注意:其中各个参数也可以用逗号, 分隔开。# 第一个参数代表子图的行数;第二个参数代表该行图像的列数; 第三个参数代表每行的第几个图像。...原创 2019-07-25 16:48:50 · 109 阅读 · 0 评论 -
Python-Pandas
获得行索引信息df.index获得列索引信息df.columns获得df的sizedf.shape获得df的行数df.shape[0]获得df的列数df.shape[1]获得df中的值df.values原创 2019-07-25 16:48:35 · 158 阅读 · 0 评论 -
linux 常用指令
显示文本行数:临时设置行显示: esc + ‘set nu’永久设置行显示: vim ~/.vimrc + ‘set nu’原创 2019-07-25 16:48:15 · 235 阅读 · 0 评论 -
sql 常用指令
contact(): 拼接cast(): 类型转换current_date(): 返回的是当前会话时间,而sysdate返回的是服务器时间 格式:yyyy-mm-dd HH:MM:SSround(): 用于把数值字段舍入为指定的小数位数datediff(): 返回两个日期之间的时间...原创 2019-07-25 16:47:56 · 111 阅读 · 0 评论 -
离线安装python包(附示例:featuretools)
一、基本方法: 1、逐个包安装 2、批量安装 二、基本步骤:(示例:featuretools) step1: · 下载包: msgpack-0.6.1-cp27-cp27mu-manylinux1_x86_64.whl · pip install msgpack-0.6.1-cp27-cp27mu-manylinux1_x86_64.whl step2: ...原创 2019-07-10 16:07:18 · 2243 阅读 · 1 评论 -
Kafka 可靠性和一致性
1. 可靠性为了保证数据的可靠性,我们最少需要配置一下几个参数:1. producer 级别: · acks=all(或者 request.required.acks=-1) · 同时发生模式为同步 producer.type=sync:Leader 在返回确认或错误响应之前,会等待所有同步副本都收到悄息 2. topic 级别: · 设置副本数 repli...原创 2019-07-02 10:07:31 · 706 阅读 · 0 评论