java
关注
分享
扫一扫
文章平均质量分 73
领尚
hadoop cas openstack python .net ExtJs java linux network
展开
-
学习笔记:从0开始学习大数据-43.综合实训五：网站热词展示流水线
为了学习多系统配合处理数据，设计了如下的一个练习：python获取mysql数据库中的网站内容，提出热词生成json格式热词数据，定时任务执行提取并发布到网站，另外一台服务器定期执行java springboot程序，rest获取热词数据，写入数据库，另外提供一个api接口，从数据库读出数据，以json的方式提供api接口，一个html网页的通过jquery的ajax获取数据提供给echart...原创 2020-03-25 21:28:19 · 866 阅读 · 0 评论 -
centos7里Redis 开机自启
nano /usr/lib/systemd/system/redis.service[Unit]Description=RedisAfter=syslog.target network.target[Service]Type=simplePIDFile=/var/run/redis.pidExecStart=/home/linbin/software/redis-5.0.2/sr...原创 2020-03-25 10:01:00 · 553 阅读 · 0 评论 -
学习笔记:微服务-25 spring boot 项目中使用JavaMelody监控
JavaMelody可以方便的监控spring boot应用，以下记录使用方法1. pom.xml增加 <!-- https://mvnrepository.com/artifact/net.bull.javamelody/javamelody-core --> <dependency> <groupId&...原创 2020-03-16 23:46:17 · 1131 阅读 · 0 评论 -
学习笔记:微服务-21 eclipse安装docker tools插件
因为eclipse中开发spring boot微服务，在eclipse中直接操控docker，会更加方便1.安装Eclipse -》帮助-》安装新软件-》添加位置信息：http://download.eclipse.org/linuxtools/updates-docker-nightly/ 列表中选择相关docker tools，按向导安装即可2. 连接本机的docker服...原创 2019-01-19 20:48:20 · 2861 阅读 · 0 评论 -
学习笔记:微服务-20 docker中运行spring boot
docker 中部署spring cloud项目是比较流行的搭配，以下是配置过程记录1. 先把spring boot项目打包我这以我前面建立的microservice-eureka-server-8101项目为例cd /home/linbin/workspace/microservice-eureka-server-8101mvn install注意打包的项目pom.xml有如...原创 2019-01-19 20:19:54 · 525 阅读 · 0 评论 -
学习笔记:微服务15 spring cloud kafka 消息总线
在比如限时抢购，车票抢购，选课排队等许多场景，都需要消息总线，在spring cloud生态圈中，多个微服务协同工作，多对多处理交付任务和处理任务排队，需要实现消息总线，本例采用kafka 作为消息服务器，以下代码从网上复制，经调试通过。1. 依赖 <dependency> <groupId>org.springframework.kafk...原创 2019-01-02 22:47:57 · 1655 阅读 · 0 评论 -
学习笔记:微服务14 spring boot jdbc connect
这个虽然简单，也是必备，下个代码，做个记录，免得到处找 主要有两种方法，Mybatis和JdbcTemplate这里是简单直接的JdbcTemplate方法1. pom.xml 增加依赖 <dependency> <groupId>mysql</groupId> <artifactId&g...原创 2019-01-02 21:15:31 · 403 阅读 · 0 评论 -
学习笔记:微服务13 spring boot2.x oauth2-client
前面oauth2 server设置好了，登录oauth2 server正常，但另外建一个oauth2 client 总是不能登录认证，网上说是spring boot 2 中去除了@EnableOAuth2Sso注解，今天终于找到适合我的spring boot 2.11的oauth2 client,实现了客户端认证。1.新建spring start project 项目，我命名为microser...原创 2019-01-02 19:53:25 · 1900 阅读 · 1 评论 -
学习笔记:微服务12 spring cloud Feign(Rest请求)+ hystrix（熔断）
Feign在RestTemplate的基础上对其封装，由它来帮助我们定义和实现依赖服务接口的定义。Spring Cloud Feign 基于Netflix Feign 实现的，整合了Spring Cloud Ribbon 与 Spring Cloud Hystrix，并且实现了声明式的Web服务客户端定义方式。我的理解是Feign是一个接口，是发起rest请求的工具，它集成了ribbon负载均...原创 2019-01-02 12:51:01 · 411 阅读 · 0 评论 -
学习笔记:微服务-4.spring boot 单点登录cas
spring boot 与单点登录CAS整合实现cas client1. pom.xml 加入依赖 <dependency> <groupId>net.unicon.cas</groupId> <artifactId>cas-client-autoconfig-support<...原创 2018-12-26 21:35:45 · 1405 阅读 · 0 评论 -
学习笔记:微服务-23 调用链路监控spring cloud zikpin+kafka+mysql
微服务多了，A服务调用B服务，B服务调用C服务，关系的追踪，检查各环节耗时等就显得重要，spring cloud zikpin 就为此而生借用一张图理解多个微服务把追踪信息发给kafka，zipkin获取kafka管道信息，ui展示给浏览器，并把获取的信息保存到mysql持久化。一、zipkin server安装配置1. 获取服务打包的可执行jar文件代码及配置参见网址 ：...原创 2019-01-26 00:25:50 · 1145 阅读 · 0 评论 -
学习笔记:微服务-22 spring cloud config+kafka+spring cloud bus 消息总线实现配置自动更新
上节配置了spring cloud config server，集中管理配置文件，当配置文件发生变化时，客户端通过curl -X POST http://客户端地址:端口/actuator/refresh 可以刷新客户端配置，但是如果微服务多了，一个微服务有多个实例在运行，需要一个个去刷新，采用bus消息总线，可以实现一键刷新所有实例的配置。原理图：一、启动kafka （安装参看我...原创 2019-01-21 23:57:46 · 2444 阅读 · 0 评论 -
学习笔记:微服务-24 spring boot WebFlux初探-响应式非阻塞web框架
响应式、非阻塞、事件驱动型web框架是另外一种编程模式和处理思维，相关概念及入门参见了如下几篇文章：https://blog.youkuaiyun.com/Message_lx/article/details/81075766 Springboot2.0中webflux到底优秀在哪里https://blog.youkuaiyun.com/get_set/article/details/79480233 Sp...原创 2019-01-27 11:57:03 · 811 阅读 · 0 评论 -
学习笔记:微服务-17 spring boot admin server微服务运行监控
Spring Boot Admin 是一个管理和监控Spring Boot 应用程序的开源软件。每个应用都认为是一个客户端，通过HTTP或者使用 Eureka注册到admin server中进行展示，Spring Boot Admin UI部分使用AngularJs将数据展示在前端。服务端和客户端都需要配置一、spring boot admin server服务端配置1.新建一个spr...原创 2019-01-16 22:53:39 · 1112 阅读 · 1 评论 -
学习笔记:微服务-18 Hystrix-Dashboard断路器仪表盘
Hystrix Dashboard，它主要用来实时监控Hystrix的各项指标信息。通过Hystrix Dashboard反馈的实时信息，可以帮助我们快速发现系统中存在的问题。一、新建一个spring boot 项目，我这命名为microservice-hystrix-dashboard-85021.pom.xml依赖增加： <dependency> ...原创 2019-01-16 23:44:57 · 560 阅读 · 0 评论 -
学习笔记:微服务-19 Hystrix-Turbine集成监控
Turbine通过eureka可以收集集群的多个Hystrix短路器的状态数据，然后通过Hystrix Dashboard 展示集群的多个短路器状态，达到集中监控微服务运行状态的作用。上节已经设置好了Hystrix Dashboard服务。这节介绍turbine的安装使用1. 新建spring boot项目pom.xml增加依赖 <dependency>...原创 2019-01-17 01:02:55 · 564 阅读 · 0 评论 -
学习笔记:微服务-25 部署本地的gitlab(CE版本)
前面在配置服务器的搭建中，配置信息可以通过本地文件系统，以及在git服务器中获取，因此，自己搭建一个git服务器，可以配合作为微服务群的配置中心使用，或软件开发的版本控制中心。GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。以下是在centos7上搭建GitLab服务器1.安装yum install curl policyco...原创 2019-02-12 00:35:54 · 802 阅读 · 0 评论 -
学习笔记:微服务11 spring cloud ribbon(负载均衡)+ hystrix（熔断）
为了提高服务稳定性和服务能力，相同的微服务可能会配置运行多个副本，这些微服务同时提供同等服务，这里要解决的是如何实现负载均衡，随机地访问其中某个微服务，再就是某个微服务宕机时，需要熔断，就是不再分配任务到这个服务器，但恢复服务后又给它分配任务，spring的方案是 ribbon(负载均衡)+ hystrix（熔断）配合使用。这里要测试这个功能，需要至少四台服务器，一个是eureka 注册中心，...原创 2019-01-01 23:27:51 · 1064 阅读 · 0 评论 -
学习笔记:微服务10 spring cloud config server配置中心
微服务集群应用服务众多，spring config server 可以把各微服务的配置文件集中起来管理一、spring config server搭建1.创建一个spring boot start 项目，我这命名为microservice-config-server-84012.pom.xml 加入 <dependency> ...原创 2019-01-01 19:17:20 · 307 阅读 · 0 评论 -
cloudera CDH5.13.1 Hadoop2.6.0 测试运行wordcount大数据统计作业
cloudea 大数据实验平台安装好了，做点什么呢？ 还是从hello world开始吧1. 查看hadoop版本root@cdh01:~# hadoop version如果能如上正常显示，说明可以使用hadoop测试程序了2. 查看有哪些测试程序可用root@cdh01:~# hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.ja...原创 2018-02-28 17:00:20 · 1886 阅读 · 0 评论 -
学习笔记：hadoop cloudera CDH5.13.1 java编程向HDFS写入文件
hadoop cloudera CDH5.13.1 java编程向HDFS写入文件1.以用户hdfs身份创建需写入文件的目录root@cdh01:~#su hdfshadoop fs -mkdir /outputhadoop fs -chmod 777 /outputexit 2. 创建目录 /root/java 存放编写及编译的代码root@cdh01:~# mkdir javaroot@c...原创 2018-02-28 19:03:15 · 1315 阅读 · 0 评论 -
学习笔记：opentsdb安装
OpenTSDB ，是一个时系列数据库，它基于HBase存储数据，充分发挥了HBase的分布式列存储特性，支持数百万每秒的读写，它的特点就是容易扩展，灵活的tag机制。以下在已安装cloudera已经有hadoop hbase的系统安装opentsdb1.获取安装文件# cd /tmp# wget https://github.com/OpenTSDB/opentsdb/releases/down...原创 2018-03-01 20:11:22 · 1778 阅读 · 2 评论 -
CAS统一登录认证(1):系统安装
这一周在研究cas统一登录认证系统，参考网上大量文章，基本调试可用了，做个笔记。安装环境：ubuntu16.04 + mysql5.7.23 + java1.8.0_181 + maven3.5.4 + tomcat8.5.32 + cas5.3.21.下载软件：jdk-8u181-linux-x64.tar.gzapache-tomcat-8.5.32.tar.gzapach...原创 2018-08-21 18:16:15 · 6741 阅读 · 2 评论 -
CAS统一登录认证(2):与数据库的连接
上节安装好了测试的cas认证系统，但只有一个测试账号可以登录，要真正能实际使用，需要在数据库中保存登录账号，以下是连接方法： 1.安装数据库sudo apt-get install mysql-server安装过程提示设置密码， root 密码:1232. 建立库和表#mysql -uroot -p123mysql> create database sso;...原创 2018-08-21 19:58:31 · 1066 阅读 · 3 评论 -
CAS统一登录认证(3):几个配置细节
1. SSL证书配置前面测试用的是自签证证书，chrome58以后版本不能认可，如果要实用，需要申请几大认证机构的认证证书我申请了Comodo的免费试用证书，当天就收到签发的证书文件包解压下载的证书文件包，里面有个目录apache,目录下有三个文件：ca.crt server.crt server.key使用配置方法：cd /usr/local/apache-tom...原创 2018-08-21 20:32:26 · 921 阅读 · 0 评论 -
学习笔记:从0开始学习大数据-14. java spark编程实践
上节搭建好了eclipse spark编程环境在测试运行scala 或java 编写spark程序 ，在eclipse平台都可以运行，但打包导出jar，提交 spark-submit运行，都不能执行，最后确定是版本问题，就是你在eclipse调试的spark版本需和spark-submit 提交spark的运行版本一致，还有就是scala版本一致，才能正常运行。以下是java spark程...原创 2018-11-29 15:35:01 · 543 阅读 · 2 评论 -
学习笔记:从0开始学习大数据-16. kafka安装及使用
kafka是消息处理服务的开源软件，高效高可用。可以作为大数据收集的工具或数据的管道。1. 下载 http://kafka.apache.org/downloads根据scala版本，我下载的是Scala 2.12 - kafka_2.12-2.1.0.tgz (asc, sha512)2.解压tar -zxvf kafka_2.12-2.1.0.tgz3.启动（1）启动自带的...原创 2018-12-02 22:51:41 · 915 阅读 · 0 评论 -
学习笔记:从0开始学习大数据-17.Redis安装及使用
Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。1. 下载wget http://download.redis.io/releases/redis-5.0.2.tar.gz2.安装$ tar -zxvf redis-5.0.2.tar.gzyum...原创 2018-12-03 19:55:28 · 2964 阅读 · 3 评论 -
学习笔记:微服务-3.spring.cloud 加入spring.security（Greenwich.M3）
上节学习可以启动spring cloud Eureka注册中心服务，这节加上spring.security 的认证功能，加上后，登录Eureka 的网页需要输入账号密码，微服务客户端注册到中心也需要提供账号密码本节是把上上节学习的 spring boot 和上节学习的 spring cloud Eureka 结合起来，再加上认证功能一、 spring cloud Eureka server...原创 2018-12-26 16:08:58 · 512 阅读 · 0 评论 -
学习笔记:微服务-5.spring zuul
spring cloud zuul 是网页api网关，就是说微服务有很多的服务，每个服务都有个自己的网址，采用zuul就可以从一个zuul网址对外服务，会自动跳转到设置的对应微服务上上经典图片1. 新建一个spring boot 项目 命名为Eureda-client-zuul2.pom.xml<?xml version="1.0" encoding="UTF-8"?&...原创 2018-12-26 23:30:23 · 390 阅读 · 0 评论 -
学习笔记:微服务-6.spring zuul + spring security + cas client 实现微服务sso登录
上节架构了spring zuul实现微服务的网页路由，因为zuul是微服务群的统一入口，非常适合在zuul服务上进行统一登录认证，本节实验结合spring zuul +spring security +Apereo cas实现微服务群的统一登录认证spring security是一个spring的权限认证系统，cas是单位中央认证系统，从中央认证系统认证后，获取一个中央认证系统的身份（本测试中...原创 2018-12-27 15:42:22 · 6503 阅读 · 7 评论 -
学习笔记:微服务-7 了解spring cloud架构
学了一周spring cloud 微服务了，开始考虑整个微服务群的架构，并看到一个有意思的名词，spring cloud 全家桶，呵呵上几个图和文章吧，刚学一周，能理解这些图的大概，并其中一个个去实践。参考：https://blog.youkuaiyun.com/wxb880114/article/details/79467779 SpringCloud分布式开发五大组件详解https://bl...翻译 2018-12-27 22:08:50 · 367 阅读 · 0 评论 -
学习笔记:微服务-1.spring boot安装与hello world
数据越来越大，服务也越来越复杂，应用越来越彭大，为了提高应用服务的高稳定，高并发，高集群，高容错，低耦合，给出的新架构思维是把大的应用根据功能拆分成许多小的应用，分别开发，分别部署，通过各种大数据据集群的工具协同工作，就是分而自治，发展了一整套微服务的技术。spring是其中完整解决方案产品的提供者，spring cloud是微服务群的治理架构，spring boot是其中单个微服务的开发平台。...原创 2018-12-24 23:33:58 · 373 阅读 · 0 评论 -
学习笔记:微服务-8 ngnix+zuul 实现高可用负载均衡
本次学习实现如下图的红框部分1.nginx 安装yum install nginx2. 配置nginxnano /etc/nginx/nginx.confupstream centos7.linbsoft.com { server centos7.linbsoft.com:8201 weight=1; server centos7.linb...原创 2018-12-31 00:06:11 · 2253 阅读 · 4 评论 -
学习笔记:微服务-9 spring cloud oauth2 server配置
spring cloud 对外服务的统一认证，以及各微服务之间相互调用的身份认证，需要有个认证服务器，上两节学习了以cas中央认证服务器作认证，作为spring cloud全家桶，本身提供了oauth2的统一认证，能很好地集成在整个微服务集群中，这节就学习oauth2服务器的搭建1. 新建spring boot start project 我这设置项目名为：MicroserviceOauth2...原创 2018-12-31 20:57:46 · 833 阅读 · 0 评论 -
学习笔记：linux下java 程序打包成jar简单hello world
1. linux必须已安装java环境，测试 #javac -versionjavac 1.8.0_20说明java环境已安装好了2. 建立目录helloworld，在目录下建立helloworld.java文件#cd ~~# mkdir helloworld~# cd helloworld~/helloworld# vi helloworld.javahellowor原创 2018-02-03 13:14:47 · 3659 阅读 · 0 评论