- 博客(8)
- 收藏
- 关注
RSS订阅原创 Python连接spark集群
在集群master节点终端上执行pip install pyspark==3.1.1pyspark --master spark://master:7077Python代码#sc查看是否连接成功sc显示如下说明成功接着查看集群环境,把环境拷贝下来import osos.environ拿取里边3个环境变量: ['SPARK_HOME', 'PYTHON_HOME','PYSPARK_PYTHON']本地连接spark集群:dc1 = {...
2021-05-06 14:53:42
4452
原创 HADOOP3和SPARK3集群搭建
hadoop3下载列表下载3.2版本http://archive.apache.org/dist/hadoop/core/hadoop3安装参考,两篇文章结合http://dblab.xmu.edu.cn/blog/1177-2/https://blog.youkuaiyun.com/weixin_43576022/article/details/105661627spark3安装http://dblab.xmu.edu.cn/blog/1714-2/spark3 文件: slave更改为w
2021-05-06 14:21:12
445
原创 Python hive查看表更新时间
hive脚本查看表更新时间Python hive查看表更新时间from impala.dbapi import connectfrom pandasql import sqldfpysqldf = lambda x: sqldf(x, globals())from sqlalchemy import create_engineimport pandas as pdimport arrow,timefrom impala.util import as_pandasdef se..
2021-01-22 12:06:07
835
原创 Python打造五线图谱(乐活五线谱)简单版
效果图:环境python 3.7scipy==1.1.0 plotly==4.7.1 cufflinks==0.17.3 计算代码import pandas as pdimport talibimport osimport cufflinks as cfimport chart_studio.plotly as pyimport plotly.graph_objs as goimport plotly.offline as pyoffimport plo
2020-05-22 12:12:33
4476
2
原创 airflow 定时任务+时间设定+cron表达式
from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom datetime import datetime, timedelta'''任务参数配置'''default_args = { "owner": "airflow", # 用户名的任务的所有者 "dep...
2018-12-17 10:05:41
12228
3
原创 富途开放接口get_multiple_history_kline和get_history_klineAPI接口失败
使用get_multiple_history_kline和get_history_kline连个API接口会报错,这两个接口是获取离线数据.如果报错404,检查openID客户端是不是启动有误.解决： 配置文件FutuHistData.xml 历史数据存放位置改为 存放位置的绝对路径...
2018-11-04 15:02:11
2439
原创 Flask form表单和ajax开启CSRF保护
不要把HTML文件放在static,不然密钥无法获取。测试不行记得清缓存。1. form表单开启需要2步 首先在启动文件加入 CSRFProtect(app)from flask import Flaskfrom flask.ext.bootstrap import Bootstrap#定义app对象app=Flask(__name__)#开启保护from flask_...
2018-08-11 19:48:00
1375
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人