weixin_40530363的博客

原创 关于virtualBox网卡2灰色

解决方法，之前修改完Vagrantfile 的文件后记得 vagrant reload，之后再重启虚拟机则发现有网卡2了（之前怀疑是virtualBox版本问题，但是尝试后并无解决该问题）解决方法仅供参考

原创 python 解决requests库post方法json.dumps后有转义字符的问题

pyload = json.dumps(body)payload = json.loads(payloads)r = requests.post(url=url,data=payload.encode(“utf-8”))

原创 python 自动化测试

一、基本response方法r = requests.post()r.text() 字符串r.content() 字节r.json() json

原创 查看文件的具体行

原创 python创建指定大小的多维数组

n = 2m = 3k = 4matrix = [None] * 2for i in range(len(matrix)): matrix[i] = [0] * 3print(matrix)for i in range(n): for j in range(m): matrix[i][j] = [1] * kprint(matrix)

原创 开窗函数并连接表的灵活运用

Selecta.m_id,a.path_dql,b.page_url from_url,a.page_url to_urlFrom (SelectM_id,Page_url,Visit_time,Row_number() over(partition by m_id order by visit_time as ) as path_seqFrom app_page_view )...

原创 求出每天分小时的累计订单金额

selectorder_date,hour(order_time),sum(money) over (partition by order_date order by hour(order_time))from sales;

原创 关于intellij没有scala class

1、file》setting》plugins搜索scala并下载。下载完成后关闭intellij（此时如果去new的话应该看不到scala class选项）2、再次进入后右键项目文件open module setting》global libaries 添加scala sdk...

原创 linux 环境下下载jdk

yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel #安装openjdk

原创 python定义无穷大及无穷小

_max = float(‘inf’)_min = float(’-inf’)

原创 将用户添加到sudoer列表中

1、切换到root2、键入visudo命令进入脚本3、键入\root进行查找，键入n移动到下一行，发现root ALL=(ALL) ALL这行命令后4、键入yyp，yy表示复制当前行，p表示复制到下一行5、将其中一个root改为你要添加的用户名...

原创 spark-sql基础知识

1.RDD vs DataFrames vs DataSet1.1RDDRDD是一个懒执行的不可变的可以支持Lambda表达式的并行数据集合。RDD的最大好处就是简单，API的人性化程度很高。RDD的劣势是性能限制，它是一个JVM驻内存对象，这也就决定了存在GC的限制和数据增加时Java序列化成本的升高。1.2DataFrame与RDD类似，DataFrame也是一个分布式数据容器。然...

原创 mysql,报错Lock wait timeout exceeded; try restarting transaction'

set innodb_lock_wait_timeout=100；show variables like ‘innodb_lock_wait_timeout’;

原创 adbapi 异步存入mysql的连接持久化

可在初始化连接时在参数中添加 re_connect=True文档https://twistedmatrix.com/documents/16.1.0/api/twisted.enterprise.adbapi.ConnectionPool.html#connect

原创 使用pymysql时报错1292 "Incorrect date value: '1983' for column 'crawl_date' at row 1"

其原因时在where后面限定日期时，日期外应加单引号，错误写法：“select game_SteamID from steam_dailyTopGame where crawl_date=%s” % str(today)正确写法：“select game_SteamID from steam_dailyTopGame where crawl_date=’{}’”.format(str(to...

原创 pyenv的使用

pyenv install tab查看可下载版本 pyenv install 3.6.8 下载pyenv versions 查看pyenv下托管的python版本pyenv virtualenv 3.6.8 my-env 创建虚拟环境pyenv activate my-env 激活可以cd到某个目录下使用 pyenv local my-env...

转载 pytho查看内存使用

import os,psutilprocess = psutil.Process(os.getpid())print(‘Used Memory:’,process.memory_info().rss / 1024 / 1024,‘MB’)

转载 linux ls显示不同颜色

可在.bashrc 中添加 alias ls=‘ls --color=auto’

转载 python2,python3同时安装windows

https://blog.youkuaiyun.com/qq_24373725/article/details/79638932

原创 screen会话命令(用于挂载服务器上)

screen -S session_name 创建一个会话screen -X -S session_id quit 删除一个会话ctrl + a + d 保存会话并退出，程序仍在运行screen -r session_name 重连

转载 crontab定时任务并保存退出

前面是五个星分别是minute hour day month week 顺序：分 时 日 月 周 合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday)1、每分钟启动一次任务　 * * * * * command2、每五分钟启动一次任务 ...

转载 linux查看服务器的外网信息

curl cip.cc

转载 pyenv安装python时 LookupError: unknown encoding: GBK

添加环境变量export LANG=zh_CN.UTF-8export LANGUAGE=zh_CN.UTF-8

转载 linux查看系统版本

lsb_release -a

转载 python二进制、八进制、十进制、十六进制的转换

转载 指定pip包导入特定位置

pip install -t /usr/local/lib/python2.7/site-packages/ xlrd

转载 python检测字符串中是否有字母

str.isalpha()

原创 python ascii码转换

ord(): 对应字符的ascii码chr(): 与ord对立‘a-z’:97~122‘A-Z’:65~90’ ':32‘0-9’:48~57

转载 get与post的区别

https://www.cnblogs.com/logsharing/p/8448446.html

原创 urlib.parse解码

a = ‘’‘2013\u5e744\u670810\u65e5’’’end = urllib.parse.unquote(a)print(end)

原创 re匹配浮点数

item[‘play_hour’] = re.search(r’\d+(.\d+)?’, response.meta[‘play_time’]).group()

转载 值类型与引用类型区别

原创 mysql常用语句

1、select count(game_id,page) from steam.review_pages where status=0 选取满足条件的数据条数2、select top 3 game_id,page from steam.review_pages where status=0 选取前几条数据3、update review_pages set status=1 where ga...

原创 JSONDecoderError

格式中出现某些无法解析的内容如下，跟你更有甚者会有看不见的编码需要去除才能解析成功replace(’\r’, ‘’).replace(’\n’, ‘’).replace(’\’, ‘’).strip()...

原创 大数据问答题

1、数仓ETL过程中，数据探索阶段主要包括哪些内容？2、数据仓库中为什么要做拉链表?什么样的场景比较适合用拉链表？举例说明拉链表的实现过程？3、用Python编写一个函数，获得当前目录下的所有文件名（包含子目录中的子文件，假设当前用户有所有文件的访问权限）...

原创 关于切片的拷贝用法的意义

store = [[]]for i in range(1, 10):for s in store[:]: #注意此处用store[:]不然会产生并发错误导致数据一直增加if len(s) < k:store.append(s + [i])store = [x for x in store if len(x) == k]store = [x for x in stor...

原创 存入数据库中文显示？解决办法

配置mysql安装目录下的my.ini我因为安装在了其他盘所以没有该文件，则自己创建了一个存入了以下信息：[client]port=3306default-character-set=utf8[mysqld]skip-grant-tablesport=3306character_set_server=utf8basedir=E:\mysql-5.6.44-winx64\mysql...

原创 datetime模块某个时间的后一天、前一天

delta = datetime.timedelta(days=1)old = datetime.datetime(2018, 8, 2)new = (old + delta).strftime(’%Y%m%d’)print(new)

原创 time\datetime模块秒数与年月日格式的转换

import timetimeArray = time.localtime(1525132800)res = time.strftime(’%Y-%m-%d’, timeArray)print(res)

原创 两个list的交集

list(set(a).intersection(set(b)))