- 博客(36)
- 收藏
- 关注
RSS订阅原创 superset 1.3安装
安装python3.7安装依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc* make -y下载python3压缩包mkdir software2cd software2wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz解压tar -zxvf Pyth
2021-09-01 15:14:43
939
原创 Kafka的基本使用
1)创建topictopic: 指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收./kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic order使用Kafka自...
2021-08-18 17:31:21
272
原创 初识HDFS
hdfs介绍hdfs如何存储数据？首先有一个namenode,连着多个datanode默认一个datanode大小为500G.当一个客户端不停的传输数据，如果分布式系统的磁盘空间被占满了，hdfs会横向扩展datanode节点。如果上传的文件是1T，会怎么样？当上传一个1T文件的时候，hdfs系统会讲当前文件按照BLOCK块进行切割并存储，默认blocksize为128M。如果某个块丢失...
2021-08-18 15:13:37
186
原创 win10升级助手链接
win10win10升级助手链接https://www.microsoft.com/zh-cn/software-download/windows10
2020-09-27 09:55:18
291
原创 java中的工具类实例化后用“.”不提示工具类中的方法
//这个类是JDBC连接数据库的工具类import java.io.FileInputStream;import java.io.IOException;import java.sql.*;import java.util.Properties;@SuppressWarnings(“all”)public class JDBCUtils {private static final S...
2019-07-15 16:09:44
654
原创 linux-shell编程
Shell使用c语言编写的程序，通过Shell，用户可以访问操作系统内核服务。它既是一种命令语言，又是一种程序设计语言。Linux的Shell种类众多，一个系统可以存在多个Shell,通过cat /etc/shells命令查看系统中安装的Shell。由于Bash易用、免费，所以在工作中被广泛使用。同时，Bash也是大多数Liunx系统默认的Shell。#! /bin/bashecho "H...
2019-07-15 16:08:10
142
转载 计算机网络
1.IP地址A类：192.0~255.0-255.0~255B类：192.168.0~255.0~255C类：192.168.12.0~255D类：IP网络中的组播E类：研究保留用2.端口号0~65535其中 0-1024 系统使用或保留端口3.传输协议UDP（用户数据报协议）、TCP（传输控制协议）4.网络模型5.RPC远程调用协议。...
2019-07-15 16:06:54
137
转载 使用jps命令后显示 -- process information unavailable
查了好多资料，可能是因为上次进程关闭出错导致。解决方法：rm -rf /tmp/hsperfdata_*将这些临时文件删除，
2019-07-15 16:04:04
533
转载 Apache Kafka安装
kafka基本架构Kafka Cluster:由多个服务器组成。每一服务器单独的名字叫broker(掮客)Kafka broker:kafka集群中包含的服务器Kafka Producer:消息生产者，发布消息到kafka集群终端或服务Kafka Consumer:消息消费者消费数据Kafka Topic:主题，一类消息的名称，存储数据时将一类数据存放在某个topic下，消费数据也是消...
2019-07-15 15:59:58
179
原创 hue安装
1.下载安装包2.解压 tar zxvf hue-3.9.0-cdh5.14.0.tar.gz3.联网安装各种必须的依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt...
2019-07-15 15:59:05
701
原创 azkaban安装
有三个安装包解压Azkaban Web 服务器：tar zxvf azkaban-web-server-2.5.0.tar.gz -C /export/servers/Azkaban 执行服务器：tar zxvf azkaban-executor-server-2.5.0.tar.gz -C /export/servers/azkaban 脚本导入： tar zxvf azkaban-s...
2019-07-15 15:58:21
133
原创 Zookeeper
Zookeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。Zookeeper本质上是一个分布式的小文件存储系统（建议每个节点的大小不超过1M）。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据的变化，从...
2019-07-01 08:56:02
202
转载 nginx启动报错
问题一[root@node01 nginx]# sbin/nginx -s reloadnginx: [error] open() "/export/servers/openresty/nginx/logs/nginx.pid" failed (2: No such file or directory)logs文件夹下没有nginx.pid文件出现上述错误，解决方法使用nginx -c...
2019-04-21 14:57:18
184
原创 redis伪集群部署
1 下载rediswget http://download.redis.io/releases/redis-3.0.6.tar.gz2 解压，安装tar zxvf redis-3.0.6.tar.gz cd redis-3.0.63 下载编译环境并编译yum install readline-devel pcre-devel opens...
2019-04-21 10:22:35
462
转载 Elasticsearch入门
使用root用户创建一个专门的用户es，并创建文件夹 useradd es mkdir -p /export/servers/es mkdir -p /export/data/es mkdir -p /export/logs/es chown -R es /export/servers/es chown -R es /export/data/es ...
2019-04-07 20:10:53
283
转载 hive启动时的问题
hive 启动时的问题Logging initialized using configuration in jar:file:/export/servers/hive-1.1.0-cdh5.14.0/lib/hive-common-1.1.0-cdh5.14.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.Run...
2019-04-05 18:20:40
1149
原创 Apache Hive
大数据流程数据分析计算(MapReduce)Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。数据仓库的主要特征：数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。数据仓库不产生数据 单纯的数据分析平台，集成化的数据分析平台面向主题的：主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归...
2019-04-05 17:29:09
178
转载 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hadoop, access=WRITE, inode="/a":root:supergroup:drwxr-xr-x at org.apache....
2019-04-03 20:10:22
2184
转载 认识RDD
RDD的属性一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPUCore的数目。一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。com...
2019-04-02 17:19:30
296
原创 spark:使用scala写的简单的wordcount
解析普通本地文件import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDobject WordCount { def main(args: Array[String]): Unit = { //本地模式 val sparkConf = new SparkConf()...
2019-04-01 19:41:13
291
原创 echarts入门
echars、highcharts、DataV数据可视化echarts源码链接：https://echarts.baidu.com/examples/#chart-type-globe引入echarts.js文件<script type="text/javascript" src="js/echarts.js"></script>确定一个有高有宽的dom容器 比...
2019-03-27 17:10:04
128
原创 scala入门（三）
面向对象class和object的区别class就是普通的类，调用其他方法或者属性需要获得类的实例object是单例对象 不用new可以直接调用方法属性 效果上看相当于java中static修饰的因为main方法是程序的入口 需要的一个调用，所以通常把main方法写在object中val和var的区别main方法def main(args : Array[String]):Un...
2019-03-27 15:15:11
211
原创 scala入门（二）
数组定长数组：val arr1 = Array(11,21,31) 有初始值val arr2 = new Array[T] (数组长度) 无初始值， T表示数组的类型变长数组：（使用前需要导包 import scala.collection.mutable.ArrayBuffer）val arr1 = ArrayBuffer(4,2,4) 有初始值val arr2 = ne...
2019-03-25 20:51:19
166
原创 Hive入门
字段截取select substring(字段名，从第几位，截取几位) as 别名 from 表名 limit 2;时间截取：使用substringurl截取：使用hive的内置函数parse_url_tuple删除表数据，但不删除表结构truncate tbale 表名；hive的自定义函数：UDF：一进一出，只对单行数值产生作用 普通函数；用的最多的UDTF（Use...
2019-03-23 19:38:07
182
原创 scala入门（一）
安装下载：https://www.scala-lang.org/download/2.11.8.html解压：tar zxvf scala-2.11.8.tgz -C /export/servers/配置环境变量：vi /etc/profileexport SCALA_HOME=/export/servers/scala-2.11.8export PATH=$PATH:$SCAL...
2019-03-23 11:35:48
131
原创 hive启动正常但执行语句时出错
报错信息：出现这种情况一般是配置问题：1.首先查看mysql服务是否启动。启动mysql服务：/etc/init.d/mysqld start最好设置为自启动：设置自启动：chkconfig --level 345 mysqld on重启生效：reboot2.查看hive的conf下的配置文件是否已经配置好用户名密码：<configuration> ...
2019-03-20 16:22:18
1242
转载 openResty安装
1.下载安装环境yum install -y libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl2.创建安装目录mkdir -p /export/servers/openrestycd /export/servers/openresty3.下载openresty-1.13.6.1.tar.gz并解压cd /expor...
2019-03-18 21:57:15
275
原创 nginx服务器安装
1.在nginx官网下载所需nginx安装包，这里使用的nginx-1.8.0.tar.gz.2.安装依赖环境: 由于nginx为C语言开发的, 所以需要下载C语言的依赖环境.yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel.3.上传nginx安装包nginx-1.8.0.tar.gz4...
2019-03-18 21:56:41
206
原创 android-sdk安装
解压压缩包：android-sdk_r24.4.1-windows.zip进入文件夹android-sdk-windows选择23.0.2等它下载完
2019-03-18 21:55:15
183
原创 linux-查找命令
grep 命令grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。格式：grep [option] pattern [file]可使用 -help 查看更多的参数。使用实例：ps -ef | grep sshd 查找指定ssh服务进程ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除grep本身ps -ef ...
2019-03-09 16:16:24
126
原创 使用idea打war包
1.将整个maven工程先下载一下2.在子工程下选择package3.去工作空间找到自己的项目然后进入target就可以看到war包。4.可以使用压缩软件打开看看打包是否正确。...
2019-02-20 19:58:03
1048
原创 使用idea打jar包
1.在工程的pom.xml文件中添加打包插件 &lt;plugin&gt; &lt;artifactId&gt;maven-assembly-plugin&lt;/artifactId&gt; &lt;configuration&gt; &lt;archive&
2019-02-20 19:27:04
413
原创 redis安装
创建目录mkdir -p /export/serversmkdir -p /export/softwaremkdir -p /export/logsmkdir -p /export/data下载到software$ wget http://download.redis.io/releases/redis-5.0.3.tar.gz解压到servers$ tar -zxvf redis...
2019-02-14 15:42:37
117
转载 JS常用正则
JS常用正则校验 正则表达式&lt;script type="text/javascript"&gt; window.onload = function () { //手机号 var reg = /^1[35678][0-9]{9}$/; //身份证号 // 身份证号码为15位或者18位，15位时全为数字， // 18位前1...
2018-12-12 20:12:55
192
原创 关于添加，删除外键的小记
– 创建员工表create table coder(id int primary key auto_increment,name varchar(20),salary double);– 创建项目表create table project(id int primary key auto_increment,name varchar(20));– 创建中间关系表create ...
2018-12-03 19:24:57
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人