- 博客(41)
- 收藏
- 关注
RSS订阅原创 centos7安装mysql5.7
70 yum install mysql-server 71 mysql -uroot -p 75 grep 'temporary password' /var/log/mysqld.log 76 cat /var/log/mysqld.log 77 ps -ef | grep mysql 82 systemctl start mysqld...
2019-01-16 20:22:59
259
原创 sandbox HDP修改默认mysql密码
事件发生原因 vi /etc/my.cnf进入该目录修改在文件的最后添加一行“skip-grant-tables”
2019-01-16 10:41:49
936
原创 基于docker安装sandbox实现3节点集群
前提条件目前，CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。使用 yum 安装（CentOS 7下）Docker 要求 CentOS...
2019-01-16 09:27:38
1430
原创 基于Ambari安装HDP2.6.X
说明，本次采用三台服务器去安装Hadoop生态圈全家桶第一部分：安装第二部分：出现问题解决方案 第一部分首先需要三台ssh互通其次也需要自己对自己互通，避免出现安装过程中自己不能和自己连接，如果自己没有对自己ssh免密则下面第一个爆红 关闭SELinux 永久关闭防火墙 4查看自己机器名字并修改 hostname -f vi /etc/hostname ...
2019-01-14 11:09:51
1333
4
原创 2019.1.7mysql总结（优化代码）
跨库查询修改添加 Top10.社区人口数量柱状图USE test;SELECT AREANAME,COUNT(AREANAME)AS NUMB FROM data_aggregation.ZFW_WGH_V_LDPEO GROUP BY AREANAME LIMIT 10 创建相应社区表CREATE TABLE Community_population SELECT A...
2019-01-07 15:29:26
236
原创 mysql一些应用（坐标，检索，合并，分组，针对身份证）
获取某表内的坐标信息CREATE TABLE demo1 select * FROM (SELECT tzz_csyygl_v_his_citycases.CENTER_X,tzz_csyygl_v_his_citycases.CENTER_Y FROM tzz_csyygl_v_his_citycases ) Aselect * FROM demo1针对某表的数据进行检索分组...
2019-01-07 09:27:44
755
5
原创 spark structured streaming
引用Spark commiter(gatorsmile)的话：“从Spark-2.X版本后，Spark streaming就进入维护模式，Spark streaming是低阶API，给码农用的，各种坑；Structured streaming是给人设计的API，简单易用。由于太忙，所以一直没有在官方文档上 更新说明信息”Unbounded没有边界的表每一条记录是个wor...
2018-11-06 15:11:48
379
原创 基于spark streaming的流数据处理和分析
Stream context 相当于spark context做实时处理就得用到 setup之后如果close你需要重新创建一个，重启是不行的 词频统计，stream contextssc.start()执行之后，上面代码段才会执行 一系列不停的RDD Receives接收器 创建多个receivers 你需要 在c...
2018-11-06 14:56:15
2327
原创 Oozie的应用
oozie的特点工作流管理工具可以轻量级，再提交端要求轻量级提交job会返回jobid 做一个例子 Step 1: Download the Oozie tarball Wget http://archive.apache.org/dist/oozie/4.2.0/oozie-4.2.0.tar.gz Step 2: Unpack the tarball ...
2018-11-06 14:40:02
558
原创 oozie简单应用
前言： 因为工作需要用到oozie，但是晚上的资料确实越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正 引入： 对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。 ...
2018-11-04 11:08:48
866
原创 授权mysql远程登陆
grant all privileges on *.* to 'root'@'%' identified by 'hadoop' with grant option; flush privileges;
2018-10-23 17:07:33
271
原创 flume的简单应用
主要实现的是数据源到flume然后sink到对应topic里，随后项目会写到hbase 首先，数据源的地址要创建然后把文件放入 目前数据源这一块是完成了然后我们配置flume上面的东西events.sources = eventsSourceevents.channels = eventsChannelevents.sinks = eventsSink...
2018-10-18 18:14:03
224
原创 Grafana项目流程
先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies.jar 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。如果jar包在后面运行有问题的话，可以用chmod a+rwx df_connect_finance-0.1-jar-with-dep...
2018-10-16 14:45:03
1261
原创 Kafka入门，producer和consumer与hive
{ "name":"hdfs-hive-sink-03", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector", "tasks.max":"1", &q
2018-09-26 16:27:29
828
原创 通过java在hbase上进行表单的增删改查
https://gitee.com/shuijin666/hbase_java_api-by-whj.git
2018-08-14 19:22:01
810
原创 hive和hbase区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/V...
2018-08-13 19:57:53
155
原创 hbase一些小总结（增删改查）
HBase概述1）构建在HDFS之上2) 分布式： 分而治之3）面向列：HBase特点1）大2）面向列：数据构成，列族（多个列）3）稀疏：null4）数据类型单一：string5）无模式: 每行数据所对应的列是可以不同 user: id name password age info.... 在创建表的时候就需要指定的6）数据多版本 CellHBase...
2018-08-13 16:47:54
2354
原创 2018.8.8hive一些常用命令总结
登陆(docker中)：beeline -u "jdbc:hive2://localhost:10000/default建库：select current_databases();usedefaultcreate database myhive1use myhive1建表：(有LOCATION的是外部表)CREATE EXTERNAL TABLE IF NOT EXISTS e...
2018-08-08 14:03:24
565
原创 hive基础入门------建（外）内表导入数据
连接hive beelinebeeline -u "jdbc:hive2://localhost:10000/default"查看数据库下的表 show tables;查询数据库show databases;新建一个数据库 create database myhive2再次查询show databases; 使用此数据库use ...
2018-08-08 14:01:47
1122
原创 求全年最高温度（通过mapreduce）
首先发地址https://gitee.com/shuijin666/MRtemperature.git里面有个测试文件以及源码打开idea开始同步完成将jar导出然后xshell定位到文件目录执行如下操作hadoop jar temperaturem.jar mapreduce.temperature /demo/temperature.txt /demo/tem...
2018-08-06 12:25:21
1606
原创 mapreduce小项目
wordcount可以说是学大数据中的helloworld，码云代码传送门打包编译虚拟机执行命令有设置参数，而不是固定输出，语法 hadoop jar qqq.jar mavend.Mapreduce /demo/ceshi /demo/new 第一个地址参数自己put上去个例子，第二个文件夹会自动创建先put测试文件，空格作为分割统计，出现次数完成之后去hadoop找自...
2018-08-04 15:33:50
980
原创 hdfs读写
码云地址上面是源码执行的时候打开我们的虚拟机进入我们的jar包目录java -cp qqq.jar mavend.HDFSAPItest -r /biaoshi hdfs://sandbox-hdphellowords.com:8020 ~helloworlds.txt解释一下首先我们把本地文件put到了我们hadoop集群上记得命令使用绝对路径，如何put...
2018-08-04 14:55:54
225
原创 Anaconda在windows安装与环境配置
Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda ——一个包和环境管理器——衍生而来。你将使用 conda 创建环境，以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda，处理数据的过程将更加愉快。Jupyter notebook 是一种 Web 文档，能让你将文本、图像和代码全部组合...
2018-07-25 21:18:43
95059
转载 一些idea的基础设置
说明IntelliJ IDEA 有很多人性化的设置我们必须单独拿出来讲解，也因为这些人性化的设置让我们这些 IntelliJ IDEA 死忠粉更加死心塌地使用它和分享它。常用设置IntelliJ IDEA 的代码提示和补充功能有一个特性：区分大小写。如上图标注 1 所示，默认就是 First letter 区分大小写的。 区分大小写的情况是这样的：比如我们在 Java 代码文件中...
2018-07-25 16:33:09
642
转载 idea main方法以及sysout补全
配置main方法自动补全：1.首先，点击File-->Settings-->Editor-->Live Templates 2.接着，点击右上角“+”添加“Template Group”模板组，如Java3.在新增的模板组内添加模板，点击右上角“+”添加“Live Template” 4.填写模板内容，定义出发快捷键选择 Enter 5.定义...
2018-07-25 16:31:58
9782
转载 HDFS文件常用命令详解
【fs最常用命令】 1 2 3 4 5 6 7 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path ...
2018-07-22 17:21:55
5067
原创 idea自动补全以及设置ec的代码风格快捷键
在IDEA中，默认的代码自动提示不够智能，现在配置成更加智能的方式。File-Settings-Editor-General-Code Completion中把最上面的大小写敏感度改成none，下面的钩全打。 ...
2018-07-18 16:14:07
703
原创 2018.7.18关于hadoop读写出现的错误总结
620 cd $HADOOP_HOME 621 cd sbin/ 622 start-dfs.sh 623 start-yarn.sh 624 jps 625 stop-dfs.sh 626 ssh-keygen -t rsa 627 ssh-copy-id whj 628 ssh whj 629 stop-dfs.sh 63...
2018-07-18 15:47:03
276
原创 利用maven配置hadoop
maven在国内使用最好更换源，方法在之前的文章有提到过，现在我们针对如何安装maven以及用maven加载hadoop的jar包进行笔记http://maven.apache.org/download.cgi 请选择最新的版本下载，这里咱们下载的是apache-maven-3.5.2- 当然第二个是我自己创建的文件夹解压完配置maven的环境变量export M2_H...
2018-07-17 13:56:09
3672
原创 maven使用国内源和使用代理
maven安装目录下conf文件夹settings.xml <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url&am
2018-07-16 16:32:20
3022
转载 idea 常用快捷键
在使用IntelliJ Idea的时候，使用快捷键是必不可少的。掌握一些常用的快捷键能大大提高我们的开发效率。有些快捷键可以熟练的使用，但是还有另外一些快捷键虽然很好用，但是由于因为没有形成使用习惯或者没有理解快捷键的用法，甚至之前对一些快捷键根本没有概念，导致不会去使用。对于这些快捷键，如果能够用好，编辑代码的效率必能提高一个水平。所以在此梳理出来，加强自己的使用，形成习惯。（注：有些操作...
2018-07-16 16:30:28
201
原创 Ubuntu以及centos7 安装git2.18.0
首先Ubuntu的操作很简单，几乎可以说一条命令解决所有，apt-get install git如果想要安装之前版本的话# add-apt-repository ppa:git-core/ppa # apt update; apt install git就是这样，非常的简单方便，那么对于centos用户会表示完全被忽略的感觉大部分的发行版都有唯独centos会比较麻烦那么要怎么办呢？首先我们我们...
2018-07-14 17:26:00
1246
原创 centos7 配置mysql 5.X
第一步：获取mysql YUM源进入mysql官网获取RPM包下载地址https://dev.mysql.com/downloads/repo/yum/ 点击 下载 右击 复制链接地址 https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 得到这个 这个就是Yum仓库的rpm包 其实就是一个下载地址 第二步：...
2018-07-12 17:06:21
174
原创 GPG 错误
Ubuntu 14.0中升级mysql5.5到mysql5.7时候出现错误:7 http://repo.mysql.com/apt/ubuntu bionic InRelease 下列签名无效： EXPKEYSIG 8C718D3B5072E1F5 MySQL Release Engineering <mysql-build@oss.oracl...
2018-07-12 14:12:41
2890
转载 更改Ubuntu源
修改源列表Step1: 找到源列表文件。 文件位置：/etc/apt/sources.list NOTE: 在修改之前记得先备份一份， cp /etc/apt/sources.list /etc/apt/sources.list.backupStep2: 修改源列表。 中国科技大学的源一般使用起来比较快，直接选择中科大的源。 删除source.list文件中的源，将下面的直接复制过去。# UST...
2018-07-12 12:26:59
1803
原创 mysql从删库到跑路 Ubuntu篇
sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremovesudo apt autoclean删除mysql的配置文件sudo rm /etc/mysql/ -R自动卸载mysql（包括server和client）sudo apt-get autoremove mysql* --purge ...
2018-07-12 11:49:41
1234
转载 navicat for mysql for ubuntulinux
官方下载地址：http://www.navicat.com/cn/download/download.htmlnavicat_for_mysql_10.0.11_cn_linux.tar.gz使用方法：1.打开终端：应用程序->系统工具（或附件）->终端，切换到root账户：#su密码：（注意：输入root账户密码时，密码不会显示出来，也没有提示的特殊字符，直接输完密码按Enter键就...
2018-07-12 11:37:26
1293
原创 MySQL5.7在Ubuntu上的安装、配置与使用
环境：Ubuntu 1804 64位待安装：MySQL5.7版本一、安装1、下载mysql-apt的配置包，并安装12wget https://dev.mysql.com/get/mysql-apt-config_0.8.1-1_all.debsudo dpkg -i mysql-apt-config_0.8.1-1_all.deb或者下载社区版本mysql5.7 https://www.c...
2018-07-12 10:39:17
22966
原创 centos 7虚拟机安装hadoop2.7.6分布式
总共你需要配置四个文件以及一个环境变量刷新即可，不用管那么多乱七八糟的第一个vim这个位置第二个vim第三个vim第四个vim一个环境变量好了 结束之后我们关闭防火墙什么的乱七八糟开始格式化cd $HADOOP_HOMEhdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.sh这四个进去后我的端口就是imroot：50070...
2018-07-11 01:31:25
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人