- 博客(30)
- 收藏
- 关注
RSS订阅原创 ribbon的使用
前言什么是Ribbon目前主流的负载方案分为以下两种：集中式负载均衡，在消费者和服务提供方中间使用独立的代理方式进行负载，有硬件的（比如 F5），也有软件的（比如Nginx）。客户端根据自己的请求情况做负载均衡，Ribbon 就属于客户端自己做负载均衡。Spring Cloud Ribbon是基于Netflix Ribbon 实现的一套客户端的负载均衡工具，Ribbon客户端组件提供一系列的完善的配置，如超时，重试等。通过Load Balancer获取到服务提供的所有机器实例，Rib
2022-05-12 23:34:53
1022
原创 sentinel的使用
添加依赖<dependency> <groupId>com.alibaba.csp</groupId> <artifactId>sentinel-core</artifactId> <version>1.8.1</version></dependency><dependency> <groupId>com.alibaba.csp</grou
2022-05-11 23:09:19
604
原创 seata的使用
Seata 是什么Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata将为用户提供了 AT、TCC、SAGA 和XA 事务模式，为用户打造一站式的分布式解决方案。AT模式是阿里首推的模式,阿里云上有商用版本的GTS（GlobalTransaction Service 全局事务服务）官 网 ：https://seata.io/zh-cn/index.html源码: https://github.com/seata/seata官方Demo: htt...
2022-05-11 17:29:55
2278
原创 mysql数据导入redis
1，根据需求，将需要导入redis的MySQL结果数据改变成redis格式数据select concat("*22\r\n",'$',length(redic_cmd),'\r\n',redic_cmd,'\r\n','$',length(concat(loginname,pwd)),'\r\n',concat(loginname,pwd),'\r\n','$',length(no1),'\r\n',no1,'\r\n','$',length(empid),'\r\n',empid,'\r\
2022-05-04 18:27:13
1469
原创 redis的简单使用命令
简介redis是一种高级的key:value存储系统，其中value支持五种数据类型：1.字符串（strings）2.字符串列表（lists）3.字符串集合（sets）4.有序字符串集合（sorted sets）5.哈希（hashes）而关于key，有几个点要提醒大家：1.key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率；2.key也不要太短，太短的话，key的可读性会降低；3.在一个项目中，key最好使用统一的命名模式，例如user:10000:p
2022-05-04 17:41:58
1809
原创 Jenkins安装与基本使用
1，安装jdk,此方法为以防万一最好重新配置环境变量，默认安装路径/usr/lib/jvm/java#Jenkins需要依赖JDK，所以先安装JDK1.8yum install java-1.8.0-openjdk* -y2，环境变量vim /etc/profile #添加export JAVA_HOME=/usr/lib/jvm/javaexport CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:
2022-04-21 23:59:32
806
原创 GitLab安装
1，先安装jdk（jdk-8u171-linux-x64.tar.gz 上传Linux）解压tar -zxf jdk-8u171-linux-x64.tar.gz2，移动 改名mv jdk1.8.0_171/ soft/jdk1.83，配置环境变量vim /etc/peofile#添加export JAVA_HOME=/opt/soft/jdk1.8export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/...
2022-04-20 23:53:20
1224
原创 elasticsearch安装
前言ES的核心概念NRT(Near Realtime)近实时cluster集群，ES是一个分布式的系统ES直接解压不需要配置就可以使用，在hadoop1上解压一个ES，在hadoop2上解压了一个ES，接下来把这两个ES启动起来。他们就构成了一个集群。在ES里面默认有一个配置，clustername 默认值就是ElasticSearch,如果这个值是一样的就属于同一个集群，不一样的值就是不一样的集群。Node节点，就是集群中的一台服务器index 索引（索引库）我们为什么使用ES？因为想把
2022-04-19 23:30:57
2251
原创 安装fastdfs图片服务器
1，下载安装包#到 https://github.com/happyfish100 下载fastdfs-master、libfastcommon-master、 fastdfs-nginx-module-master #到 http://nginx.org/en/download.html 下载 nginx-1.14.2.tar.gz上传Linux /opt/2，安装运行库yum install -y unzip zip perl gcc-c++ yum -y in...
2022-04-17 14:18:34
651
原创 hbase 到 hive映射
创建数据库create database ods_feature在hive 中创建表create external table ods_feature.ods_users( userid string, locale string, birthyear string, gender string, joinedAt string, location string, timezone string)stored by 'org.apa
2022-04-15 18:01:29
2641
原创 用Java从Kafka读取数据到HBase
1，添加依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency><dependency> <groupId>org.apache.hbase</groupId> <artifactId>
2022-04-15 17:44:14
2789
1
原创 flume传递数据到kafka与Java进行数据处理传回kafka
1，首先分析下数据需不需要分区处理，需不需要考虑顺序，如果不需要考虑顺序则可以选择分区，如果数据的原本顺序很重要则不能使用分区2，将数据先上传到linux上，比如我这里有个users.csv，event_attendees.csv文件分别在/opt/study/data/users和/opt/study/data/event_attendees文件夹下3，创建一个消息队列,取名users，设定三个分区kafka-topics.sh --create --zookeeper 192.168.88
2022-04-13 23:31:40
928
原创 nacos集群安装，nginx负载均衡
核心功能服务注册：Nacos Client会通过发送REST请求的方式向Nacos Server注册自己的服务，提供自身的元数据，比如ip地址、端口等信息。Nacos Server接收到注册请求后，就会把这些元数据信息存储在一个双层的内存Map中。服务心跳：在服务注册后，Nacos Client会维护一个定时心跳来持续通知Nacos Server，说明服务一直处于可用状态，防止被剔除。默认5s发送一次心跳。服务同步：NacosServer集群之间会互相同步服务实例，用来保证服务信息的一致性。 .
2022-04-12 00:44:54
508
原创 Kafka安装与基本的使用
1，将安装包上传到Linux上（安装Kafka前置条件需已安装zookeeper）2，解压安装包tar -zxf kafka_2.11-2.0.0.tgz3，移到指定目录下，并重命名 mv kafka_2.11-2.0.0 soft/kafka2114，进入config文件夹 ,并修改server.properties文件cd soft/kafka211/config/vim server.properties #更改以下内容#，当前所在集群编号，如果是多台，每个千万
2022-04-11 19:07:16
470
原创 flume安装与使用
一，Flume 基础架构1.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有三个组成部分，Source、Channel、Sink。1.2Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、.
2022-04-11 18:39:12
1734
原创 WebSocket的使用
websocket与http协议HTTP 协议有一个缺陷：通信只能由客户端发起。只能是客户端向服务器发出请求，服务器返回查询结果。HTTP 协议做不到服务器主动向客户端推送信息。WebSocket最大特点就是，服务器可以主动向客户端推送信息，客户端也可以主动向服务器发送信息，是真正的双向平等对话，属于服务器推送技术的一种1，pom.xml依赖注入<dependencies> <dependency> <groupId.
2022-04-10 23:04:59
970
原创 web服务器用户日志采集RandomAccessFile=＞编写临时日志文件
1，前端埋点传递用户行为信息给后端;(function($){ //页面初始化加载函数 var init = function(){ var imgs = $(".shop .thumbnail img") //挂载点击事件 for (i=0;i<imgs.length;i++) { //给图片添加事件 $(imgs[i]).click(imgTracking) }
2022-04-10 22:17:16
1485
原创 Java操作hbase
1，添加依赖（客户端版本和 HBase 版本需要保持一致，否则可能会遇到不兼容的问题。）<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope>
2022-04-09 23:00:54
3018
原创 HBase的安装
一，Hbase简介HBase是一个开源的非关系型分布式数据库，实现的编程语言为Java。它是的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。Hbase应用HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万
2022-04-07 22:54:53
2081
原创 sqoop的应用
1,sqoop 是Hadoop和关系数据库服务器之间传送数据的工具。主要用于在hive和关系型数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2，首先安装sqoop1，将安装包放到Linux下，解压 tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz2,移到soft文件下mv sqoop-1.4.6-cdh5.14.2 soft/sqoop1463，进入sof...
2022-04-07 21:49:52
1627
原创 hive安装
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hiv...
2022-03-29 23:56:57
180
原创 高可用Hadoop集群搭建
1，准备三台CentOS7服务器2，分别取名hd01\hd02\hd03 （可任意取）3，配置网络static4，关闭防火墙5，hd01可以访问hd02、hd03（同理其他都可互相访问） #hd01 做ssh 公私钥 无秘 ssh-keygen -t rsa -P '' # copy 公钥到 hd01hd02 hd03 ssh-copy-id 192.168.88.190#hd01ss...
2022-03-28 21:57:19
586
原创 CentOS7 安装MySQL
搜索mariadb： rpm -qa | grep mariadb如果有返回值则卸载：rpm -e --nodeps 。。下载MySQL种子 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装 rpm -ivh mysql-community-release-el7-5.noarch.rpm安装mysql yum install mysql-server给MySQL授权 ch...
2022-03-09 23:36:04
276
原创 CentOS7 安装jdk(离线版安装)
下载Linux版本的jdk将压缩包传到对应的目录上（当前是上传到 /opt 这个目录下）解压：tar -tar -zxvf jdk-8u144-linux-x64.tar.gz
2022-03-09 23:09:35
597
原创 linux 的初始设置以及一些常用的命令。
hostname:查看服务器名hostnamectl set-hostname *** ：更改服务器名为***yum install -y vim：下载vim命令vim /etc/hosts：更改服务器IP地址 和名字，名字要和服务器名一致，IP地址前三组数必须要和创建linux虚拟机的网关一样，最后一组数可以自己定义，但是要在0-255之间vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改和添加以下内容重启网络：systemctl
2022-03-09 11:52:15
948
原创 jdbc使用配置文件管理连接参数
1，首先使用配置文件方式访问数据库的优势在于，可以一次编写，随时使用，并且一旦数据库发生变化，只需要修改配置文件即可，无需修改源代码。下面是使用配置文件的一个方式，并且是使用单例模式...
2021-12-09 18:56:08
456
原创 MySQL设置数据不能为空
mysql 设置数据不能为空，但是插入数据时不设置却能成功插入原因：在不同的sql_mode下MySQL会自动为设置了not null的字段添加默认值，取消这个配置解决办法：将sql_mode改成下面配置
2021-12-02 22:21:55
5761
1
原创 XML文档中的空白字符解决办法（DOM解析）
1,xml文档中的空白字符也会被作为对象映射在DOM中，因而，直接调用Node对象的getChildNodes方法有时候会有些问题，有时不能够反射所期望的NodeList元素对象列表解决办法：（1）使用Element的getElementByTagName(String name)返回的NodeList就是所期待的对象。然后用item（）方法提取想要的元素（2）调用Node的getChildNodes()方法得到Node List对象，每次通过item（）方法提取Node对象后判断node.ge
2021-11-26 19:06:25
1242
原创 java网络编程多个主机连接
1，连接不到，一般是防火墙的原因，没有允许应用通过防火墙，所以你要设置Java SE通过防火墙，完成之后，你们就可以相互连接了，具体操作如下：
2021-11-24 17:03:05
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人