- 博客(28)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 初识HBASE
一、hbase应用场景海量数据存储，上百亿行×上百万列，关系型数据库一般最多30个列，单表五百万准实时查询，上百亿行×上百万列情况百毫秒上百万行数据没必要放在hbase举例说明实际业务场景中的应用：交通GPS信息、移动电话信息、金融、电商二、hbase的特点容量大：hbase单表可以百亿行、百万列，数据矩阵横向和纵向亮给维度所支持的数据两级都非常具有弹性；...
2019-07-04 09:30:15
435
原创 缓存穿透、缓存击穿、缓存雪崩概念及解决方案
缓存穿透概念访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。解决方案采用布隆过滤器，使用一个足够大的bitmap，用于存储可能访问的key，不存在的key直接被过滤；访问key未在DB查询到值，也将空值写进缓存，但可以设置较短过期时间。缓存雪崩概念大量的key设置了相同的过期时间，导致在缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩...
2019-07-04 09:27:15
238
原创 Mac超快速搭建Nginx、PHP、PHPStorm、XDebug环境
一、安装自己需要的版本php以php7.1为例，执行：curl -s https://php-osx.liip.ch/install.sh | bash -s 7.1（去这个链接下找自己想要下载的php版本 https://php-osx.liip.ch/）安装结束后，/usr/local/php5目录下即刚刚install的php此时在终端中输入php －v 显示的还是老的版本，可以将...
2019-07-04 09:26:09
831
原创 PHP数据库扩展mysql、mysqli及pdo
mysql<?php $conn = mysql_connect("localhost", "root", "") or die("Mysql connect error"); mysql_select_db("test", $conn); $res = mysql_query("select * from user"); var_dump($res);?&...
2019-07-04 09:24:32
713
原创 cgi、fastcgi及php-fpm分别是什么
cgicgi是通用网关接口定义。当web server收到/index.php这个请求后，会启动对应的CGI程序，这里就是PHP的解析器。接下来PHP解析器会解析php.ini文件，初始化执行环境，然后处理请求，再以规定CGI规定的格式返回处理后的结果，退出进程。web server再把结果返回给浏览器。fastcgifastcgi是一个协议。实现管理进程，提高cgi性能，标准cgi对...
2019-07-04 09:22:06
363
原创 Git的概念及常用命令
概念Git是一个分布式的版本控制工具，区别于集中式管理的SVN。优势1、每个开发者都拥有自己的本地版本库，可以在本地任意修改代码、创建分支，不会影响到其他开发者的使用；2、所有版本信息均保存在.git目录下，完整克隆中心版本库；3、切换分支迅速，方便合并，合并速度快于SVN；4、分布式版本库，无单点故障。常用命令git init 初始化git仓库git config --list...
2019-07-04 09:18:39
152
原创 自建Git服务器之Gogs
一、什么是GogsGogs 是一款极易搭建的自助 Git 服务，个人感觉比Gitlab要轻量级，搭建起来更方便。二、下载及使用链接Gogs官方下载地址Gogs官方文档Gogs配置文件手册三、环境搭建过程1、环境要求（参考官方说明）数据库（选择以下一项）：MySQL：版本 >= 5.7PostgreSQLMSSQLTiDB（实验性支持，使用 MySQL 协议连接...
2019-07-03 10:31:10
3350
原创 搭建CI使用Laravel ORM模块
下载CI框架并解压到工作目录配置nginx，并重启nginx -s reloadserver { charset utf-8; client_max_body_size 128M; listen 80; server_name ci-with-orm.com; root /Users/clive/Works...
2019-07-03 09:57:12
513
原创 Go使用Curl推送钉钉消息
背景最近在用Go实现业务日志实时监控，当捕捉到error级别的日志时，想要推送钉钉消息到群里进行通知，下面代码实现了简单消息及markdown消息推送到钉钉机器人webhook的操作，供大家参考。代码实现package mainimport ( "fmt" // 先下载这个包，go get github.com/mikemintang/go-curl "github.com/mik...
2019-07-03 09:54:57
1098
原创 配置supervisor管理beego应用
一、golang、beego等环境安装与配置二、supervisor安装github项目地址：https://github.com/Supervisor/supervisor克隆项目：git clone https://github.com/Supervisor/supervisor.git进入项目：cd supervisor安装执行：python setup.py install三、...
2019-07-03 09:54:09
994
原创 高并发、高可用系统设计原则
高并发原则无状态：应用无状态，配置文件有状态拆分：系统维度、功能维度、读写维度、AOP维度、模块维度服务化：进程内服务->单机远程服务->集群手动注册服务->自动注册和发现服务->服务分组/隔离/路由->服务治理（限流/黑名单）消息队列：实现服务解耦、异步处理、流量削峰/缓冲（需要注意：处理生产消息失败、消息重复接收处理、生产重试；作为大流量缓冲，牺牲强一致...
2019-07-03 09:52:26
1257
1
原创 高性能MySQL之架构与历史
MySQL逻辑架构优化与执行MySQL会解析查询，创建内部数据结构（解析树），对齐进行优化（重写查询、决定表的读取顺序、选择合适的索引）；使用explain，可以解释优化过程的各个因素，使用户知道服务器是如何进行优化决策的，并提供一个参考基准，便于重构查询和表、修改配置；优化器不关心表用的是什么存储引擎，但存储引擎对优化查询是有影响的；例：SELECT语句，解析查询之前，服务器先检查...
2019-07-03 09:51:06
125
原创 Mysql锁
锁类型/引擎行锁表锁页锁MyISAM有InnoDB有有BDB（被InnoDB取代）有有锁的分类表锁：开销小，加锁快，不会死锁，粒度大，冲突率高，并发低。行锁：开销大，加锁慢，会死锁，粒度小，冲突率低，并发高。页锁：处于表锁和行锁之间，会死锁。锁的适用场景表锁：更适用于查询为主，按少量索引条件更新。行锁：更适用于大量按索引...
2019-07-03 09:44:10
141
原创 MySQL分库分表
#一、分库分表类型##1、单库单表所有数据都放在一个库，一张表。##2、单库多表数据在一个库，单表水平切分多张表。##3、多库多表数据库水平切分，表也水平切分。#二、分库分表查询通过分库分表规则查找到对应的表和库的过程：如分库分表的规则是acc_id mod 4的方式，当用户新注册了一个账号，账号id的123,我们可以通过acc_id mod 4的方式确定此账号应该保存到Acc_...
2019-07-03 09:41:47
552
原创 MySQL索引原理及使用
一、磁盘IO磁盘IO是非常高昂的操作，计算机操作系统做了一些优化，当一次IO时，不光把当前磁盘地址的数据，而是把相邻的数据也都读取到内存缓冲区内，因为局部预读性原理告诉我们，当计算机访问一个地址的数据的时候，与其相邻的数据也会很快被访问到。每一次IO读取的数据我们称之为一页(page)。具体一页有多大数据跟操作系统有关，一般为4k或8k，也就是我们读取一页内的数据时候，实际上才发生了一次IO，这...
2019-07-03 09:41:07
182
原创 MySQL ORDER BY主键id加LIMIT限制走错索引
背景及现象report_product_sales_data表数据量2800万；经测试，在当前数据量情况下，order by主键id，limit最大到49的时候可以用到索引report_product_sales_data_hq_code_orgz_id_index，大于49时就走PRIMARY主键索引。表结构CREATE TABLE `report_product_sales_dat...
2019-07-03 09:40:07
2282
原创 MySQL表的数据量大小会影响索引的选择
现象新建了一张员工表，插入了少量数据，索引中所有的字段均在where条件出现时，正确走到了idx_nap索引，但是where出现部分自左开始的索引时，却进行全表扫描，与MySQL官方所说的最左匹配原则“相悖”。数据背景CREATE TABLE `staffs` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(24) NOT...
2019-07-03 09:38:31
4171
原创 Chrome浏览器地址栏访问接口url，重复请求问题解决
今天在Chrome浏览器调试接口时，发现会请求两次接口，但是换Firefox浏览器就没有这个问题，后来发现是Chrome浏览器Jsonview插件的原因导致的。将图片中红色框内的勾去掉即可，如果选择了该项，那么浏览器会被强制重复发送一次HTTP请求来获取原始HTTP内容。
2016-04-06 18:28:34
13039
1
原创 PHP cURL 返回 HTTP/1.1 100 Continue
当PHP cURL 时，如果POST的数据部分超过了1024字节，发送POST请求时header部分会包含一个参数Expect:100-continue，询问服务器是否愿意接收数据，收到服务器返回的100-continue应答后再把数据POST给服务器。在项目中遇到一个问题如下：当传输的数据较少时，cURL拿到的返回是这样的array(2) { ["header"]=> str
2016-03-30 13:20:47
7623
原创 jQuery、PHP上传图片
通过jQuery上传图片，PHP对上传图片处理后保存到服务器指定目录下。可以页面部分刷新，提升了用户体验。 Picture Upload 图片上传: 上传图片 $(function() {
2016-03-07 17:02:54
683
原创 PHP上传文件
最简易的上传文件代码，通过表单提交文件，PHP接收文件后将临时文件移到服务器指定目录下。 File: Filename: Filepath: <?php //file.php用于接收和保存文件 $defaultPath = '/home/upload/uploadfileDir/'; $pathinfo = pathinfo($_FILES['up
2016-03-01 18:59:58
373
原创 linux新增用户并设置密码以及删除用户
新增用户test：1、登录root账户，记住是用 su - 切换到root，而不是su，因为su是只取得root的权限，su - 是取得root的权限后还执行root的profile来取得ROOT的环境变量；2、执行命令useradd test增加一个叫test的用户；3、执行命令passwd test进入为test用户设置密码的步骤；4、输入密码，回车；5、重复密码，回车；
2016-02-27 10:24:31
1602
原创 PHP实现模拟登录
方法一：在PHP中使用exec()函数执行linux shell语句<?php $filename = 'cookie.txt'; $username = 'clive'; $password = 'psw123'; $loginInfoArr = array( 'username' => $username, 'password' => $password, );
2016-02-24 19:38:53
1319
原创 PHP图片压缩的方法
项目里要求上传图片并进行缩放、压缩质量保存到服务器。起初用php的image函数，结果jpg格式的图片保存正常，png格式的图片保存到服务器后损坏，大小变为0，方法如下：if ($imageType == '.jpg') {$src = @imagecreatefromjpeg ($url_tmp);list($width,$height) = getimagesize($url_
2016-02-04 17:03:25
4129
IP2LOCATION-LITE-DB5.BIN.ZIP
2020-04-03
IP2LOCATION-LITE-DB3.BIN.ZIP
2020-04-03
IP2LOCATION-LITE-DB1.BIN.ZIP
2020-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人