- 博客(207)
- 资源 (27)
- 收藏
- 关注
转载 支付系统设计入门:核心账户体系架构
第三方支付作为中立的第三方,截断了用户和商户的资金流,资金先从用户账户转移到第三方支付平台账户,得到双方确认后再从支付平台账户转移到商户账户。
2025-04-10 14:35:21
1
转载 OKR与互联网创业团队
OKR与KPI在HR圈一直很热,今天来用一个小例子聊聊什么是OKR,怎么使用,与KPI有哪些区别。基本概念:okrkpi员工先弄清楚公司目标方向是什么,再想想自己做什么能支持目标,接着设定个人目标,以及衡量指标,和老板讨论达成一致。公司制定大目标方向后,逐层拆解关键指标至各部门,各部门再拆解至每个人,每个人盯着自己的指标干领绩效核心区别:方面OKRKPI...
2021-09-03 11:52:53
321
转载 互联网岗位介绍和成长
1、程序员大家常自嘲叫码农的阶段。这个角色职责是把需求或产品实现为用户可用的软件产品。此职位为执行级别。另外因为经验较少,一般需要求助别人,或与别人一起完(ban)成(zhuan)一个任务。此阶段大概要经历3年,程序员的职责如下:1、负责公司运营系统的设计与开发工作2、运营数据处理和分析2、高级程序员此时的你不仅可以完成任务,开始注重代码的质量,能够写出工业级的代码。你的经验可胜任模块级的系统设计,承担完成较为复杂的技术,能有效的自我管理,有帮助别人快速解决问题(trouble shooti
2021-08-02 12:59:04
446
转载 Skywalking微服务监控分析
引言 微服务框架落地后,分布式部署架构带来的问题就会迅速凸显出来。服务之间的相互调用过程中,如果业务出现错误或者异常,如何快速定位问题?如何跟踪业务调用链路?如何分析解决业务瓶颈?...本文我们来看看如何解决以上问题。目录一、SkyWalking初探二、业务调用链路监控三、服务性能指标监控四、服务告警一、SkyWalking初探Skywalking 简介Skywalking是一款国内开源的应用性能监控工具,支持对分布式系统的监控、跟踪和诊断。它提供了如下的主要功能特性:Skyw
2021-07-06 11:42:12
1963
转载 京东把 Elasticsearch 用得真牛逼!日均5亿订单查询完美解决!
京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsearch作为一款功能强大的分布式搜索引擎,支持近实时的存储、搜索数据,在京东到家订单系统中发挥着巨大作用,目前订单中心ES集群存储数据量达到10亿个文
2021-06-28 14:26:43
493
转载 使用 Grafana+collectd+InfluxDB 打造现代监控系统
想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具,这三个工具的关系是这样的:采集数据(collectd)-> 存储数据(InfluxDB) -> 显示数据(Grafana)。InfluxDB 是 Go 语言开发的一个开源分布式时序数据库,非常适合存储指标、事件、分析等数据,看版本号(v0.8.8)就知道这个项目还很年轻;collectd 就不用介绍了吧,C 语言写的一个系统性能采集工具;Grafana 是纯 Ja
2021-06-23 10:23:38
290
转载 Flink 在唯品会的实践
唯品会自 2017 年开始基于 k8s 深入打造高性能、稳定、可靠、易用的实时计算平台,支持唯品会内部业务在平时以及大促的平稳运行。现平台支持 Flink、Spark、Storm 等主流框架。本文主要分享 Flink 的容器化实践应用以及产品化经验。内容包括:1.发展概览2.Flink 容器化实践3.Flink SQL 平台化建设4.应用案例5.未来规划一 、发展概览平台支持公司内部所有部门的实时计算应用。主要的业务包括实时大屏、推荐、实验平台、实时监控和实时数据清洗等。.
2021-06-22 10:11:11
212
转载 elasticsearch常用配置
一、关于elasticsearch的基本概念 每一个运行实例称为一个节点,每一个运行实例既可以在同一机器上,也可以在不同的机器上。 所谓运行实例,就是一个服务器进程,在测试环境中可以在一台服务器上运行多个服务器进程,在生产环境中建议每台服务器运行一个服务器进程。routing 路由,当存储一个文档的时候,他会存储在一个唯一的主分片中,具体哪个分片是通过散列值的进行选择。默认情况下,这个值是由文档的id生成。如果文档有一个指定的父文档,从父文档ID中生成,该值可以在存储文档的时候进行修改。
2021-03-17 18:05:04
2055
转载 有赞百亿级日志系统架构设计
一、概述日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。随着有赞业务的发展与增长,每天都会产生百亿级别的日志量(据统计,平均每秒产生 50 万条日志,峰值每秒可达 80 万条)。日志平台也随着业务的不断发展经历了多次改变和升级。本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交
2021-03-16 10:07:42
357
转载 linux查看磁盘io性能
1. 查看磁盘 IO 性能1.1 top 命令top 命令通过查看 CPU 的 wa% 值来判断当前磁盘 IO 性能,如果这个数值过大,很可能是磁盘 IO 太高了,当然也可能是其他原因,例如网络 IO 过高等。1.2 sar 命令sar 命令是分析系统瓶颈的神器,可以用来查看 CPU 、内存、磁盘、网络等性能。sar 命令查看当前磁盘性能的命令为:sar -d -p 1 2其中, “-d”参数代表查看磁盘性能,“-p”参数代表将 dev 设备按照 sda,sdb……名.
2021-03-16 09:56:35
4106
转载 操作系统swap对redis的性能的影响以及解决方案
目录一、操作系统SWAP 二、Redis为什么会触发swap 三、查看Redis swap情况 四、解决Redis swap一、操作系统SWAPswap是操作系统的行为,是指当内存不足时,操作系统将内存的数据拿出一部分放入磁盘,数据从内存和磁盘换入换出的机制,涉及到磁盘的IO。一旦发生swap,内存对应的进程的性能都会受到影响,因为硬盘的访问速度远远小于内存。redis作为内存数据库,如果redis对应的内存发生了swap,那么redis的性能会受到极大的影响。二、Red...
2021-03-10 14:45:39
724
转载 ClickHouse在字节跳动推荐和广告业务部门的最佳实践
此次分享分为三部分内容,第一部分通过讲解推荐和广告业务的两个典型案例,穿插介绍字节内部相应的改进。第二部分会介绍典型案例中未覆盖到的改进和经验。第三部分会提出目前的不足和未来的改进计划。一、早期实践1、外部事务在介绍实时场景之前,我先简单讲一下早期的离线数据是如何支持的:在第一场分享中,技术负责人陈星介绍了 ClickHouse 在字节跳动内部最早支持的两个业务场景,用户行为分析平台和敏捷 BI 平台。这两个平台的数据主要由分析师或者数仓同学产出,以 T+1 的离线指标为主。考虑到 Cl
2021-03-03 09:32:55
1158
转载 主流微服务全链路监控系统之战
问题背景随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题。全链路监控组件就在这样的问题背景下产生了。最出名的是谷歌公开的论文提到的 Google Dapper。想要在这个上下文中理解分布式系统的行为
2021-03-03 09:15:53
321
原创 Kibana查询ES报错:[circuit_breaking_exception] [parent] Data too large
一、kibana浏览器报错{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2047795096/1.9gb], which is larger than the limit of [2023548518/1.8gb], real usage: [2
2021-02-01 19:57:43
4585
转载 Java SPI机制
一、SPI机制简介SPI的全名为Service Provider Interface.java spi机制的思想: 系统里抽象的各个模块,往往有很多不同的实现方案,在面向的对象的设计里,一般推荐模块之间基于接口编程,模块之间不对实现类进行硬编码。一旦代码里涉及具体的实现类,就违反了可拔插的原则,如果需要替换一种实现,就需要修改代码。为了实现在模块装配的时候能不在程序里动态指明,这就需要一种服务发现机制。 java spi就是提供这样的一个机制:为某个接口寻找服务实现的机制。有点类似IOC的思想,就是将装
2021-01-30 00:52:27
137
原创 Error:Connection activation failed: No suitable device found for this connection
1、问题现象centos重启后,网络连不上。service network restart后,提示网络无法正常启动。看启动日志提示:Connection activation failed: No suitable device found for this connection2、分析原因重启服务器之前是可以上网的,所以应该是某些服务被重置了。检查网络管理器service network statusservice NetworkManager status发现..
2021-01-19 15:02:35
13290
转载 Presto在滴滴的探索与实践
桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。目前服务6K+用户,每天读取2PB ~ 3PB HDFS数据,处理30万亿~35万亿条记录,为了承接业务及丰富使用场景,滴滴Presto需要解决稳定性、易用性、性能、成本等诸多问题。我们在3年多的时间里,做了大量优化和二次开发,积攒了非常丰富的经验。本文分享了滴滴对Presto引擎的改进和优化,同时也提供了大量稳定性建设经验。1、Presto简介1.1 简介Presto是Facebook.
2020-12-30 15:00:26
417
原创 oracle定时删除归档日志
1、删除脚本 delete_arc.sh#! /bin/bashsource ~/.bash_profile #加载用户变量exec >> /home/oracle/log/del_arch`date +%F-%H`.log #记录脚本日志$ORACLE_HOME/bin/rman target / <<EOF#检查归档日志crosscheck archivelog all;#删除所有过期日志delete noprompt expired archivelog a
2020-12-29 16:04:01
2142
原创 java.util.LinkedHashMap cannot be cast to Entity
前后端数据传输转换问题-java.util.LinkedHashMap cannot be cast to Entity问题场景:项目前端使用json传输方式,后台接收后对象变成了LinkedHashMap @ResponseBody @RequestMapping(value = "/batchCharge.do",method ={RequestMethod.POST,RequestMethod.GET}) public Response batchCharge(@Req
2020-12-02 17:42:48
1804
转载 美图全链路监控实战
一.摘要本文内容分为3部分,首先简单介绍了美图的业务背景和监控体系,然后是两个美图的监控实践----基于Grafana FlowCharting插件的「监控大盘」实战和基于基于GrafanaImageRender+企业微信机器人的「图文告警」实战。这两个监控实战都是非常容易落地的,基本是开箱即用,中间只涉及到非常少量的代码工作。本文除了介绍我们做相关技术选型时的一些考量,同时给出了两个实战完整的“step by step”的操作步骤,对于涉及到的少量代码工作,文中也给出了代码样例。希望这两个案例..
2020-11-26 10:22:40
3643
1
原创 ELK日志排序混乱
1、现象环境使用的是7.4,filebeat,kafka,logstash,es排序字段是@timestamp,由于是filebeat批量收集提交的,所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序,有部分时间的日志在中间,如下图2、分析@timestamp字段是经过filebeat处理时添加的,可以通过修改filebeat配置文件,把收集后的日志输出到本地文件,可以看出来多了时间字段。3、解决方案这里采用logstash重写@timesta.
2020-11-10 01:32:40
3902
原创 elk-可视化图标(nginx)
一、日志格式nginx的日志经过json转化,输入到elasticsearch,nginx日志格式配置如下:log_format main '{"@timestamp":"$time_iso8601",' '"trace":"$upstream_http_ctx_transaction_id",' '"log":"log",' '"remote_addr":"$remote_addr",'
2020-11-10 00:45:44
585
原创 linux 查看真实路径-软连接
命令:pwd -P说明:/data/autoDeploy为真实路径,home下的autoDeploy为软连接。pwd看到的是软连接的路径。
2020-09-15 17:13:09
12381
2
原创 nodejs和cnpm安装
一、nodejs1.1 简介vue 开发需要nodejs环境进行打包。1.2 安装1)到官网下载对应的版本tar包,http://nodejs.cn/download/。2) 上传到/data/soft目录下3)使用命令解压和移动:#解压tar -xvfnode-v14.10.0-linux-x64.tar.xz#移动mv node-v14.10.0-linux-x64 /usr/local/nodejs4)建立软连接(运行命令的快捷方式)#npm ..
2020-09-12 15:53:33
576
原创 Oracle故障:Breaking the connection before proto/dty negotiation, error raised 3136
一、现象:1、oracle客户端无法使用用户名和密码登录,提示:maximum number of processes (300) exceeded2、增大进程数到1000,过一段时间后,还是会进程数耗尽,提示1000二、解决方法:
2020-09-08 10:54:22
533
原创 docker使用国内仓库
一、概述docker的官方镜像地址是:https://hub.docker.com/在国内拉取镜像时经常比较慢,一个mysql要几分钟,或者十几分钟。二、使用方法新建配置文件:/etc/docker/daemon.json,加入以下内容:{ "registry-mirrors": ["http://hub-mirror.c.163.com"]}当然可以使用国内其他的镜像地址,https://registry.docker-cn.comhttp://hub-m.
2020-09-06 22:55:02
9770
转载 用elastic stack来分析下你的redis slowlog
redis是目前最流行的 NoSQL 内存数据库,然而如果在使用过程中出现滥用、乱用的情况,很容易发生性能问题,此时我们就要去关注慢查询日志,本文尝试给大家介绍一种通过 elastic stack 来快速分析 redis 慢查询日志的方法,希望能给大家提供帮助。redis slowlog简介redis是目前最流行的缓存系统,因其丰富的数据结构和良好的性能表现,被各大公司广泛使用。尽管redis性能极佳,但若不注意使用方法,极容易出现慢查询,慢查询多了或者一个20s的慢查询会导致操作队列(redis是
2020-08-13 11:30:17
310
原创 jdk-14.0.2_linux-x64_bin.tar.gz
jdk 14下载地址jdk-14.0.2_linux-x64_bin.tar.gz链接: https://pan.baidu.com/s/1VmykmpRkQuMijMaKGrYf7g 提取码: gqza
2020-08-13 00:04:01
888
原创 centos7 安装 openssl和openssl升级
一、环境centos7,openssl-1.1.1g.tar.gz二、安装1、下载最新版本:https://mirrors.cloud.tencent.com/openssl/source/2、三、问题
2020-07-14 10:50:43
2403
原创 iostat查看服务器io
iostat 查看服务器实时io说明:cpu属性值说明:%user:CPU处在用户模式下的时间百分比。%nice:CPU处在带NICE值的用户模式下的时间百分比。%system:CPU处在系统模式下的时间百分比。%iowait:CPU等待输入输出完成时间的百分比。%steal:管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比。%idle:CPU空闲时间百分比。备注:如果%iowait的值过高,表示硬盘存在I/O瓶颈如果%idle值高,表示C
2020-06-23 01:19:36
429
原创 oracle DataGuard停机和启动顺序
一、停机1、先关闭主库--登录数据库sqlplus / as sysdbasql>shutdown immediate2、再关闭备库--登录数据库sqlplus / as sysdbasql>alter database recover managed standby database cancel; --停止同步sql>shutdown immediate;二、启动1、启动主从监听,先启动从库,再启主库lsnrctl s.
2020-06-22 22:15:03
1588
原创 elk错误:Too Many Requests
{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2032293344/1.8gb], which is larger than the limit of [2023548518/1.8gb], real usage: [2032293344/1.8gb.
2020-06-11 11:38:24
9465
转载 软件开发模式之敏捷开发
1、开发流程优点:敏捷开发的高适应性,以人为本的特性。 更加的灵活并且更加充分的利用了每个开发者的优势,调动了每个人的工作热情。缺点:由于其项目周期很长,所以很难保证开发的人员不更换,而没有文档就会造成在交接的过程中出现很大的困难。2、Scrum开发流程中的三大角色产品负责人:主要负责确定产品的功能和达到要求的标准,指定软件的发布日期和交付的内容,同时有权力接受或拒绝开发团队的工作成果。流程管理员:主要负责整个Scrum流程在项目中的顺利实施和进行,以及清除挡在客户和开
2020-06-10 01:08:35
223
转载 敏捷开发的实施步骤
1. 挑选一位产品负责人这个人必须知道带领的团队需要做什么、制造什么产品以及取得什么成果,必须会面考虑到风险与回报、什么具有可行性、什么能做以及他们对什么富有热情。2. 挑选一个团队真正做事的是谁?这个团队必须能够落实产品负责人的愿景。团队规模宜小不宜大,一般3~9人较为合适。3. 挑选Scrum主管主管为Scrum过程负责,负责培训团队其他成员,确保Scrum得到正确运用,帮助团队消除一切障碍。4. 拟定待办事项清单,并确定优先顺序这个清单高屋建瓴地列出为了落实产品负责人的愿景而需要完
2020-06-10 01:04:20
312
seata-server-1.1.0.zip
2020-09-08
webp_imageio-0.4.2.zip
2020-07-13
orabbix-1.2.3.zip
2020-06-10
kaptcha验证码
2016-12-08
ZHConverter.jar
2015-10-25
亿特网络认证计费系统v7
2009-03-04
LanSee162局域网查看工具
2009-03-04
局域网助手(LanHelper) v1.83.rar
2009-03-04
JSP项目开发全过程实录-光盘源代码
2008-12-09
ant权威指南-PDF
2008-12-07
Java数据库系统项目开发实践
2008-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人