- 博客(5)
- 收藏
- 关注
RSS订阅原创 pycharm使用pip更换安装源
pycharm使用pip更换安装源在Pycharm底部的 Terminal输入// An highlighted blockPS D:\Users> pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn Writing to C:\Users\AppData\Roaming\pip\pip.ini#下面这行代码是查
2022-05-10 14:58:28
1542
原创 Flume+SparkStreaming（SparkSQL）+Kafka+Mysql
Flume+SparkStreaming（SparkSQL）+Kafka+Mysql使用flume采集文件数据，发送至kafka，再由SparkStreaming消费kafka消息，使用sparkSql对数据进行处理，结果数据保存到Mysql数据库。使用三台虚拟机完成测试，集群搭建配置就不赘述了。Flume：文件名： flume2Kafka.conf#定义了当前agent的名字叫做a1a...
2021-07-06 16:11:11
308
原创 HIVE- SPARK
日常记录备忘Hive修改字段类型之后（varchar->string）Hive可以查到数据，Presto查询报错; 分区字段数据类型和表结构字段类型不一样；spark-sql分区表和非分区表兼容问题， 不能关联 可以建临时表把分区数据导入，用完数据将表删除；count有数据，select没数据 可能是压缩格式所导致；优化合全量任务，之前是row_number()函数 先插入当天增量，取出最新的数据插入全量表 改成：昨日增量+ （loan_id前天全量中不在昨天增量中的）建议用
2021-07-06 16:04:44
635
转载 maven项目多个main函数打包并运行jar包方式
pom.xml<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin<...
2020-01-15 17:17:10
2261
转载 Mysql Shell 脚本
Mysql Shell 脚本本地连接及远程链接#!/bin/bash#连接MySQL数据库Host=127.0.0.1User=usernamePASSWORD=passwordPORT=3306DBNAME="test_db_test"TABLENAME="test_table_test"CREATE_DB_SQL="SELECT * FROM ${DBNAME}.${TA...
2020-01-15 11:29:11
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人