
Big Data
纯真-Cloud
愿纯真依旧!
展开
-
Docker Mysql问题记录
解决连接Docker mysql容器慢的问题问题描述:创建一个内部网络(docker network create ims_network),在这个内部网络跑了两个容器(一个mysql容器,一个python容器),从python容器中向mysql容器中写数据(insert,update)很慢,select很快。时间:10个insert用了2秒。问题解决:[mysqld]sk...原创 2019-07-26 14:22:55 · 168 阅读 · 0 评论 -
Springboot Gradle项目同时引入mysql5、mysql8
问题说明:如果在build.gradle文件中加:dependencies { ... implementation 'mysql:mysql-connector-java:5.1.34' implementation 'mysql:mysql-connector-java:8.0.17' ...}这样只有mysql8会被引入项目。解决方法:在项目主目录下创建一个lib目录,将mysql5、mysql8两个库文件放进去;在build.gradle文件加入依赖;depen原创 2020-06-17 14:05:53 · 1759 阅读 · 2 评论 -
Learning Mysql
1. CentOS安装mysql8获取并安装源:wget http://dev.mysql.com/get/mysql80-community-release-el7-2.noarch.rpmyum -y install mysql80-community-release-el7-2.noarch.rpm安装组件:yum -y install mysql mysql-comm...转载 2019-02-11 17:30:14 · 234 阅读 · 0 评论 -
通过配置的方式实现类似SQL方式查询MongoDB
背景说明对于Mysql,有灵活的sql语句直接执行,且sql语句对于程序来说即一个字符串,很方便扩展或变换,即使是有变量,也可以通过字符串操作直接实现替换,最重要的是sql结构比较简单易懂,而且天生适合关联查询。而MongoDB操作起来就不那么方便,没有sql,必须同时熟悉javascript语言语法和mongo命令、参数,如果不熟悉的话,则要在代码里写死查询框架,不方便修改和扩展。这里通过java实现了一个类似sql的语言框架,采取json格式,以方便通过配置的方式实现mongo查询。代码实现查询主原创 2020-06-17 15:10:57 · 662 阅读 · 1 评论 -
优雅关闭Spark Stream任务(改进)
参考:https://cloud.tencent.com/developer/article/1122470采用的是原文上HTTP模式,在此基础上做了一点点改进。为什么要做改进:发现发送http请求,并收到回复(StreamingContext已被关闭)后,程序并没有停止,是因为程序有http server这个deamon子进程还没有被关闭。所有源码:package org.zyd.scala.t...原创 2018-05-18 14:47:44 · 1320 阅读 · 0 评论 -
Learning Flume
测试Flume向HDFS转数据时,报错报错信息如下:2018-05-06 12:53:30,143 (hdfs-hdfs_w1-call-runner-0) [WARN - org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:3216)] Cannot load filesystem: java.util.ServiceC...原创 2018-05-06 13:22:20 · 241 阅读 · 0 评论 -
Learning Spark
IDEA下,打包spark jar包:在projectName/project/目录下,新建assembly.sbt文件,添加内容:addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.5")build.sbt文件:name := "ScalaTest"version := "0.1"scalaVersion := "2.11.8"原创 2018-05-07 17:50:56 · 212 阅读 · 0 评论 -
Learning Hadoop
1. 构建Gradle项目在build.gradle加入依赖,比如:compile 'org.apache.hadoop:hadoop-client:3.0.0',Gradle -> RefreshGradle Tasks -> build -> jar找到生成的jar,比如:build/libs/HadoopTest.jarhadoop jar HadoopTest.jar o...原创 2018-05-14 16:45:08 · 149 阅读 · 0 评论 -
Elasticsearch(ES)多条件过滤实现案例
要完成上述图片上的查询条件,也即需要同时符合多种过滤条件。由于公司的服务器中安装的elasticsearch版本很老,升级不是很方便,所以是基于老版本,新版本相应的语句做一些改变也可以。实现:(具体条件需要更改)(elasticsearch版本:2.3.2)实现代码潜在优化:1. "should": [ {"match_...原创 2018-06-20 15:56:39 · 23936 阅读 · 2 评论