- 博客(140)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 方案设计-如何设计一个支持10万QPS的会员系统
会员系统是一种基础系统，跟公司所有业务线的下单主流程密切相关。如果会员系统出故障，会导致用户无法下单，影响范围是全公司所有业务线。所以，会员系统必须保证的基础服务。随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程 APP、艺龙 APP、同程微信小程序、艺龙微信小程序等多平台会员体系。例如微信小程序的交叉营销，用户买了一张火车票，此时想给他发酒店红包，这就需要查询该用户的统一会员关系。因为火车票用的是同程会员体系，酒店用的是艺龙会员体系，只有查到对应的艺龙会员卡号后，才能将红包挂载到该会员账号。
2024-09-09 21:41:24
1336
原创 方案设计-系统的QPS突然提升怎么考虑设计？
其实可以看到，怎么设计高并发系统这个问题本身他是不难的，无非是基于你知道的知识点，从物理硬件层面到软件的架构、代码层面的优化，使用什么中间件来不断提高系统的抗压能力。
2024-09-09 20:16:31
1149
原创 方案设计-如何设计一个秒杀系统
热点分为热点操作和热点数据。所谓“热点操作”，例如大量的刷新页面、大量的添加购物车、双十一零点大量的下单等都属于此类操作。对系统来说，这些操作可以抽象为“读请求”和“写请求”，这两种热点请求的处理方式大相径庭，读请求的优化空间要大一些，而写请求的瓶颈一般都在存储层，优化的思路就是根据 CAP 理论做平衡，这个内容我在“减库存”一文再详细介绍。而“热点数据”比较好理解，那就是用户的热点请求对应的数据。而热点数据又分为“静态热点数据”和“动态热点数据”。所谓“静态热点数据”，就是能够提前预测的热点数据。
2024-09-09 00:09:36
1840
原创 【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件
在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作。问题：执行SQL报错提示缺少文件。重新执行SQL发现可以正常执行了。执行完成之后查看HDFS文件。
2024-01-28 21:12:03
651
原创 面试题-【消息队列】
分析：可能是消费端出现问题不消费了或者是消费变慢了，以及可能消息队列中数据快把磁盘堆满了都没人消费，并且在RabbiteMQ中有TTL设置，过期的数据可能就丢失了，常见的例子比如消费端需要把数据写入到数据库，结果mysql挂了，消费就hang住了。其实activeMQ、RabbiteMQ更类似单机应用，一个queue的数据不会被拆分成多分分散到多个机器上，RocketMQ、kafka是分布式的，一个topic数据可以被拆分成多个partition，进而分散到多个机器上，摆脱单机容量限制。
2024-01-24 22:58:28
1110
原创 spark Structured报错解决
报错，不想看原因的直接去解决方案试试按道理不应该出现C:/。。。。这个是我本地的一个地址，但是却拼接到了hdfs文件系统下，应该是什么配置的有问题顺着报错信息只需要checkpointRoot修改就行这个地址来源于checkpointLocation也就是说直接改变“checkpointLocation”的值就行。
2023-09-22 22:21:38
656
原创 SpringBoot之Actuator基本使用
自定义端点主要是指扩展性，用户可以根据自己的实际应用，定义一些比较关心的指标，在运行期进行监控。原生端点是在应用程序里提供众多 Web 接口，通过它们了解应用程序运行时的内部状况。
2023-08-03 11:39:13
985
原创 Linux常用小技巧
Linux常用小技巧命令编辑及光标移动删除从开头到光标处的命令文本删除从光标到结尾处的命令文本历史命令快速执行部分历史命令查看实时查看日志磁盘或内存情况查看当前目录各个子目录占用空间大小当前内存使用情况根据名称查找进程id根据名称杀死进程查看进程运行时间多条命令执行查看压缩日志文件计算程序运行时间查看内存占用前10的进程快速查找你需要的命令搜索包含某个字符串的文件屏幕冻结命令编辑及光标移动这里有很多快捷键可以帮我们修正自己的命令。接下来使用光标二字代替光标的位置。删除从开头到光标处的命令文本ctrl
2021-12-18 11:18:27
798
原创 MySQL日志【bin log,redo log,undo log】
MySQL日志概括bin logredo logundo log3种日志在事物执行过程中的工作mysql中比较重要的日志包含bin log(归档日志)、redo log(重做日志)、undo log(回滚日志)概括MySQL中有六种日志文件，分别是：重做日志（redo log）、回滚日志（undo log）、二进制日志（bin log）、错误日志（error log）、慢查询日志（slow query log）、一般查询日志（general log），中继日志（relay log）。其中bin lo
2021-12-06 00:18:28
242
原创 MySQL 四种隔离级别及实验
MySQL 四种隔离级别事务的 ACIDMysql的四种隔离级别Read Uncommitted（读取未提交内容）Read Committed（读取提交内容）Repeatable Read（可重读）Serializable（可串行化）测试Mysql的隔离级别read uncommitted(未提交读)read committed(已提交读)repeatable read(可重复读)可串行化(Serializable)事务的 ACID事务具有四个特征：原子性（ Atomicity ）、一致性（ Consi
2021-11-30 01:05:21
530
原创 slf4j实现原理
slf4j原理为什么要使用slf4jslf4j应用举例slf4j实现原理为什么要使用slf4j我们自己的系统中使用了logback这个日志系统我们的系统使用了A.jar，A.jar中使用的日志系统为log4j我们的系统又使用了B.jar，B.jar中使用的日志系统为slf4j-simple 这样，我们的系统就不得不同时支持并维护logback、log4j、slf4j-simple三种日志框架，非常不便。解决这个问题的方式就是引入一个适配层，由适配层决定使用哪一种日志系统，而调用端只需要做的事
2021-11-28 21:04:30
1075
原创 Arthas安装及基本使用
Arthas安装及基本使用Arthas安装常用命令返回信息说明dashboardthread可用参数jvmsc可用参数sm可用参数jadclassloadermonitor可用参数返回结果watch可用参数trace可用参数stack可用参数ttresetquitshutdownArthas 是基于 Greys 进行二次开发的全新在线诊断工具，利用Java6的Instrumentation特性，动态增强你所指定的类，获取你想要到的信息，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，可以方便定位
2021-05-21 00:56:03
1901
2
原创 Redis 处理Spring Boot项目Session 共享问题
Redis 处理Spring Boot项目Session 共享问题背景一、问题再现二、原因分析背景Web 开发中，通过 Session 在服务端记录用户状态是很常见的操作。但是 Session 的机制对于单机应用是没问题的，但是对于集群环境，由于在将请求分配到另一台服务器时，新的服务器无法通过浏览器传入的 Cookie 值取到 Session，所以导致所有基于 Session 的操作都会失败，如：登录状态。 本文通过搭建一个非常简易的集群环境，来演示 Session 机制在集群环境中存在的问题，并
2021-04-30 23:44:18
626
5
原创 centos下docker安装以及springboot远程发布docker
centos下docker安装以及springboot远程发布docker1.CentOS7.0下JDK1.8的安装2.Docker的安装3.Docker使用Maven插件构建并上传镜像1.CentOS7.0下JDK1.8的安装（1）到Oracle官网下载好 jdk-8u291-linux-i586.tar.gz备用（2）卸载系统自带的javajava -versionrpm -qa | grep javayum -y remove [上面查出来的内容，多个用空格分隔]（3）安装jdkm
2021-04-27 23:34:45
636
5
原创 CentOS7安装htop
htop是一款功能强大的互动的进程查看器。但是我们使用yum install -y htop的时候出现了找不到htop包的情况，因为htop不是基础命令，有的系统优化去掉了。可以使用下面命令解决:yum install -y epel-releaseyum install -y htop就可以正常使用了...
2021-01-03 22:59:30
4646
原创 hdfs一次一直处于安全模式检查与修复
hdfs一次一直处于安全模式检查与修复查找问题思考排查处理进入cm界面发现两个服务出现了异常查找问题二话不说，重启本地的服务哈，如果是线上的请跳过…反馈结果：问题依旧查看相关信息吧我们知道hive依赖hdfs，所以hive的问题有可能是hdfs导致两条信息HDFS Canary这个要读写hdfs验证hdfs的可用性。NameNode 当前处于 safe mode。所以是第二个问题导致的前面的验证不通过。所以我们需要排查一下namenode的sofemode命令行查询一下h
2020-12-09 22:50:31
1415
原创 Flink版本WC
Flink版本WCwc是一个非常经典的大数据例子，下面我们运行一下wcflink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.2.100:8020/data/tmp/wc/input/ --output hdfs://192.168.2.100:8020/data/tmp
2020-12-07 23:32:42
3180
原创 CDH6.3.1安装FLINK
CDH6.3.1安装FLINK1. 准备2. 将上面文件移动到master对应位置位置3. 重启cdh集群4. 添加Flink服务5. 可能出现的问题默认情况下我们安装好的cdh集群是不包含flink，但是我却又想使用flink集群。下面我就使用cdh6.3.1安装1. 准备下载下面三个文件FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarFLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcelFLINK-1.9.0-csa1.0.0.0-cdh
2020-12-07 23:17:59
4570
4
原创 keytool基本使用
keytool基本使用Keytool 是一个Java 数据证书的管理工具 ,Keytool 将密钥（key）和证书（certificates）存在一个称为keystore的文件中 在keystore里，包含两种数据：密钥实体（Key entity）——密钥（secret key）又或者是私钥和配对公钥（采用非对称加密）可信任的证书实体（trusted certificate entries）——只包含公钥创建证书库keytool -genkey -alias tomcat -keyalg RS
2020-11-25 23:40:03
7579
原创 那些用过一次就不会卸载的软件
安利软件笔记软件文件搜索实时通讯软件浏览器思维导图安全杀毒持续更新，那些我们用过一次就不会忘记的软件，欢迎留言补充笔记软件有道云笔记、印象笔记、为知笔记其实有道云笔记、印象笔记、为知笔记等基本可以满足大部分人的记录要求印象笔记官网有道云官网为知笔记官网mybase可以用作知识库，很方便地自我调节结构，以及对我们知识库进行整理和补充，目前小编正在从有道云迁移到这个软件上，大赞。mybase官网文件搜索everythingeverything官网在windows上随
2020-11-17 23:33:03
850
1
原创 Centos7安装k8s
Centos7安装k8s环境介绍安装docker-ce 18.09.9（所有机器）准备k8s环境（所有机器）安装k8s v1.16.0 master管理节点1. 安装kubeadm、kubelet、kubectl2.初始化k8s3. 获取将node加入集群的命令安装k8s v1.16.0 node工作节点1. 安装kubeadm、kubelet2. 加入集群安装flannel（master机器）1.下载官方fannel配置文件环境介绍CentOS7（master、slave1、slave2）flann
2020-11-08 17:30:08
3858
1
Cisco实验1-配置Cisco交换机
2019-01-31
ehcache-1.1.jar
2017-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人