Yun---Sani-优快云博客

原创 Windows+Spark+Scala+Hadoop+Hive+Mysql环境搭建实现读取Mongo数据写入hive

一.jdk安装部署1.去官网下载jdk1.8.0_201.tat.gz;解压jdk1.8.0_201.tat.gz至D:\soft\Java\jdk1.8.0_2012.配置系统环境变量（因为简单所以省略具体步骤）二.Hadoop安装部署1.去Hadoop官网下载hadoop2.7.7.tar.gz；下载hadooponwindows-master.zip（后面有用）解压hadoop...

2019-11-06 18:00:09 1124

原创 Spring cloud oauth2搭建认证授权服务

首先了解一下oauth2oauth2在oauth中我们通常将他分为认证中心和资源中心。二者可以放在一起，但是对于微服务来说，每个独自的微服务可能就是一个资源中心。用户想要请求微服务的数据，需要携带认证中心颁发的tocken。在oauth2中有几种授权模式：1、授权码模式2、密码模式3、客户端模式4、简易模式下面将以客户端授权模式举例：auth-server创建认证中心服务aut...

2019-08-28 15:52:13 799 1

原创 Git命令学习总结

1.git clone 从远程主机克隆一个版本库到本地git clone <版本库的网址>git clone支持多种协议，除了HTTP(s)以外，还支持SSH、Git、本地文件协议等比如：git clone http[s]

2019-07-18 09:58:19 507 1

原创 Scrapy处理post请求 Request payload 和 Form Data类型值

首先看一下图一常见的Form Data类型的请求下面图二是Request payload 类型的请求重点看打红框框的两个地方，分析一下两种类型的请求头中的参数Content-TypeForm Data 的 Content-Type: application/x-www-form-urlencoded 请求的数据格式为 key1=value1&key2=value2Reques...

2019-07-12 15:01:34 1510 1

原创 docker 部署springboot项目，解决容器启动成功但是浏览器访问不成功的问题

1.将springboot项目进行打包mycrawler-server-1.0.jar2.打开docker toolbox，创建一个文件夹，将jar复制到文件夹中3.创建dockerfile文件，并编辑 vi dockerfile，内容如下：FROM openjdk:11VOLUME /tmpADD mycrawler-server-1.0.jar app.jarEXPOSE 9091...

2019-06-27 17:19:21 17535 8

原创 Ubuntu elasticsearch集群搭建

1.安装jdkexport JAVA_HOME=/home/yun/jdk1.8.0_191export JRE_HOME=/home/yun/jdk1.8.0_191/jreexport CLASSPATH=.:JAVAHOME/lib:JAVA_HOME/lib:JAVAHOME/lib:JRE_HOME/lib:CLASSPATHexportPATH=CLASSPATHexport...

2019-06-26 14:58:18 205 1

原创 Hadoop4个核心配置文件讲解

Hadoop4个核心配置文件core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml配置讲解1.hdfs-site.xmldfs.replication：设置数据副本的份数 1dfs.namenode.name.dir：设置namenode目录 /hadoop_data/namedfs.datanode.data.dir ：...

2019-06-26 14:32:32 2175 1

原创 ubuntu搭建hadoop集群

ubuntu搭建hadoop集群1.下载安装jdk1.8，所有的虚拟机都要配置修改/etc/profileexport JAVA_HOME=/home/jiuzhang/jdk1.8.0_191export JRE_HOME=/home/jiuzhang/jdk1.8.0_191/jreexport CLASSPATH=.:JAVAHOME/lib:JAVA_HOME/lib:JAVAH...

2019-06-26 14:28:46 307

Win10 安装配置Hadoop-2.6.5单机环境1.下载安装jdk1.8+，下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应系统版本的，并配置好环境变量。2.下载Hadoop-2.6.5，下载地址为http://mirror.bit.edu.cn/ap...

2019-06-26 14:12:50 1330

weixin_38705082的博客