- 博客(17)
- 收藏
- 关注
原创 spark SQL
1. Spark下创建Dataframe一般是通过SparkSession 导入数据来创建的。dataframe可以通过访问文件系统或创建RDD来获得。创建RDD来生成dataframe数据:调用spark.read.json()方法可以实现RDD到dataframe的转换,而且是直接执行的,但是创建临时表createOrReplaceTempView() 操作只有执行到dataframe动作时,创建临时表才会执行。2. DataFrame查询和字段类型设置spark 中的datafra
2021-12-28 14:24:51
2413
原创 Linux基础篇
一、档案权限与目录配置Linux文件属性ls -al:ls是list的意思,重点在显示档案的文件名与相关属性。(ls 的基础用法:man ls 或 info ls)而-al则表示列出所有的档案详细的权限与属性。档案类型权限:第一个字符代表这个档案是『目录、档案或链接文件等等』:[ d ]则是目彔;当为[ - ]则是档案;[ l ]为连结档;[ b ]为装置文件里面的可供储存的接口设备;[ c ]为装置文件里面的串行端口设备。档名:如果档名之前多一个『.』,则代...
2021-12-28 11:51:46
444
原创 Jupyter Notebook
1. jupyter notebook --config ~/.jupyter/jpconfig.py2. 设置主题:jt -t onedork -f fira -fs 95 -ofs 11 -dfs 11 -altp -tfs 11 -nfs 115 -cellw 80% -T -N3. 浏览器无法打开:ipythonfrom IPython.lib import passwdpasswd() #得加密后的密文exitjupyter notebook --generate-co
2021-09-29 19:15:14
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人