- 博客(94)
- 收藏
- 关注
RSS订阅转载 重拾java之旅
最开始学习java出身，而真正到公司以后，开始接触各种开发语言。进入第一家公司后，开始了python之旅，当时对python，shell，go等一窍不通，真是难受，后来也是硬着头皮学习python，shell，做了一段时间的区块链自动化开发之后，对python，shell有了一定的了解，不能说信手拈来但是给一个任务后，没什么压力，妥妥的能完成。而当对python，shell逐渐走...
2019-07-08 15:58:00
224
转载 齐志科技双层跳板机登陆机制v3.3.6 --shell脚本自动登陆实现
#!/usr/bin/expect### 新版双层跳板机版本 #### 设置15秒超时时间set timeout 15# 设置参数名称set jumpusr [lindex $argv 0]set jumphost [lindex $argv 1]set jumppassword [lindex $argv 2]set jumpid [...
2019-06-26 11:36:00
487
转载 双层跳板机登陆服务器-shell脚本实现自动登陆
#!/usr/bin/expect### 两层跳板机版本 ###set timeout 15set jumpusr [lindex $argv 0]set jumphost [lindex $argv 1]set jumppassword [lindex $argv 2]set usr [lindex $argv 3]set host [linde...
2019-06-26 11:28:00
577
转载 mysql 学习之旅
学习mysql时，也就学习了一下基本的curd用法，但是在随后的工作中，有半年没有用对其忘了个差不多，尴尬！随后半年当再次用的时候也只是又学习了一下基本的curd，没有一个实质的进步。后来换了工作，开启了项目之旅后，有关mysql的库表，表字段所有设计全有自己来设计，当时也是慌的狠，项目也是着急，就是边查边做，最后也算是项目正常上线了。但是随着项目功能的与日俱增，慢慢的发现自己的...
2019-06-20 14:18:00
169
转载 go-hystrix熔断机制
随着微服务的流行，服务之间的调用可能变得越来越复杂，一个业务流程可能需要调用五六个甚至更多服务，这就会导致，假设某个服务出现问题，严重可能出现服务器负载过高，导致服务雪崩的现象。因此为了防止此现象的发生，决定了解下服务熔断机制，根据自身业务的需求，将其应用到服务中。什么是熔断：可以联想到我们家里的电表的保险丝，当电压负载过高后，保险丝熔断，确保家里的电器等其他安全。在我...
2019-05-09 11:11:00
224
转载 go 限流方案
当并发数达到我们服务的阈值的时候，我们可以通过限流的方式保证服务可用性。常见的限流方法： 1. 使用带缓冲的chann，当chan塞满以后，拒绝服务或者给一个友好的提示或跳转到一个友好的页面等。 2. 计数器，在10秒内只接受100 请求，当超过100请求后，拒绝服务，当超过10秒后，计数归零，重新接受请求。 3. 使用httpserver的频率限制，无需自己实现。...
2019-05-08 17:02:00
348
转载 go Consul服务治理
目前市面上常见的服务治理有consul，etcd，zookeeper，euerka，我们需要根据自己的服务特点选择自己相对合适的服务治理工具。FeatureConsulzookeeperetcdeuerka服务健康检查服务状态，内存，硬盘等(弱)长连接，keepalive连接心跳可配支持多数据中心支持———...
2019-05-08 10:20:00
339
转载 常见负载方案
详见的负载方案：1. 集中式负载均衡方案 通过软负载（nginx，Apache），硬负载（F5），这种方案常见于中小型企业，所有服务通过Nginx将请求分配到业务服务器上，注意点：要保证nginx的高可用。 2. 客户端负载均衡方案 提供服务注册发现机制，服务启动将ip，port等信息注册到注册中心，客户端/消费者从注册中心获取服务列表，然后根据自定义的负载策略...
2019-05-07 12:33:00
284
转载 服务治理相关组件
随着公司服务的增多，服务之前的调用变得越来越复杂，特别当某个服务出现问题时，每次都需要花大量时间去排查。因此我萌生了服务治理的想法，奈何自己对服务治理的概念了解的并不深，因此想借此就会来学习一下，并抽时间尝试一把，看能都将这些特性应用到自己的平台当中，为团队贡献自己的一份力。针对服务治理自己在网上查询了一些资料，服务治理大的方向大概有下面这些：服务注册发现：Eurake，D...
2019-05-07 11:24:00
263
转载 nginx动态负载均衡
服务发生变化时，需要手动修改upstream列表，相对比较麻烦，因此呢我们需要一种服务注册发现机制，将upstream动态注册到nginx上，从而实现upstream服务自动发现。常见的分布式服务注册发现系统有consul，zookeeper，etcd，eureka。特性： 服务注册 服务发现 故障检测 k/v存储 数据一致算法：常见raft，Pax...
2019-05-06 12:08:00
172
转载 nginx静态负载均衡与反向代理
服务的进化史：单机->集群->分布式集群针对服务集群，分布式服务，我们通过负载均衡和反向代理来保证我们服务的高可用，高性能等特点负载均衡： DNS（将一个域名绑定多个ip） 负载均衡，一般由运营商进行管理，可根据ip分配就近服务器，提高响应速度 LVS 软件负载均衡，F5 硬件负载均衡（价格贵），一般交由系统运维工程师维护 Nginx 服务负载均衡，...
2019-05-05 17:14:00
111
转载 （Mac os）intelliJ IDEA利用maven快速添加项目依赖
博主这段时间开始入java的坑，先前是python小白一枚，接触过java的都知道java项目的配置有多坑爹，尤其像博主这种超级小白来说。 刚接触java时是真的被java的配置给惊到了，就仅仅是一个项目依赖包配置，一个pom.xml文件，都给我看的一脸蒙蔽，只是想添加一个包而已，有必要写那么长的代码 然后再执行那么多操作来添加一个小小的包嘛，这也太折腾了吧。 后来听某位...
2019-03-12 18:20:00
1072
转载 python3 虚拟环境安装requests报错 Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=Non...
执行 pip install requests 报错如下：Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] ...
2019-01-18 16:55:00
538
转载 python用from gevent import monkey; monkey.patch_all()之后报ssl等错误
楼主今天第一次用python基于greenlet实现的第三方协程库gevent，由于gevent在切换IO操作（文件IO、网络IO）时是自动完成的，所以gevent需要通过修改Python自带的一些阻塞式系统调用的标准库，包括socket、ssl、threading和 select等模块，而变为协程，这一过程需要在启动时通过monkey patch完成。import geve...
2019-01-14 17:59:00
1870
转载 __main__.ConfigurationError: Curl is configured to use SSL, but we have not been able to determine w...
今天在安装pyspider时遇到这个问题，显示是安装pycurl导致的，于是单独pip install pycurl，报一样的错误，如下：(general_spider) ~ pip install pycurlCollecting pycurl Using cached https://files.pythonhosted.org/packages/e8/e...
2018-12-24 16:02:00
369
转载 mysql推荐阅读博客
1、《MySQL自增ID》告诉你不为人知的“秘密”......2、Python之pymysql的使用 （包含pymysql安装、常用方法、用法示例）持续补充。。。转载于:https://www.cnblogs.com/hcy-fly/p/10112757.html...
2018-12-13 10:54:00
148
转载 怎样获取docker容器的ip地址
首先，进入容器内docker exec -it 容器名 bash然后，执行如下命令：cat /etc/hosts # 会显示本容器ip及--link的容器ip希望对你有帮助转载于:https://www.cnblogs.com/hcy-fly/p/10110910.html...
2018-12-12 20:45:00
262
转载 本地指定数据文件路径启动mongo容器
docker run --name mongo -p 27017:27017 -v /Users/hcy_fly/Desktop/mongo:/data/db -d mongo转载于:https://www.cnblogs.com/hcy-fly/p/9956584.html
2018-11-14 10:26:00
191
转载 python json文件转csv／excel
今天遇到一个问题，有几份json文件需要转csv，网上有很多实现转化的现成代码，但是博主测试之后发现并不好使，因为多数代码都是基于简单深度=1的json数据来实现的，但博主的json数据深度>1，所以也并没有找到现成代码来使用，于是博主只好自己动手：# 首先，我们捋一下思路，深度>1，就意味着我们如果单纯的想通过简单循环获取的话，必然要费脑子写一番逻辑，而深度=1...
2018-11-13 20:08:00
190
转载 linux查找大文件 du -sh * 2>/dev/null |grep G
今天周一上班接到运维同事的一条信息，说我有一台机器的磁盘占用率达到了90%，想要抽时间处理一下。 作为一个菜鸟工程师，之前并没有处理过这样的问题，但是经过解决这个问题，总结了一点点经验，分享给大家：# 1 首先确定自己的文件所在磁盘分区的磁盘占用率cd myhome # 首先到自己的home目录下df -h myfile # 查看myfile所在...
2018-11-12 17:24:00
448
转载 Caused by SSLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificat
如何解决SSL 根证书验错误：一种解决方法是：verify=False在session.request 里面：session.post(post_url,data=post_data,headers=headers,verify=False)第二种解决方法是：安装certifi 或者更新requests包转载于:https://www.cnblogs....
2018-11-01 21:00:00
1144
转载 git快速生成配置sshkey
1、在～目录下生成sshkeyssh-keygen2、复制生成的keycd ~cat .ssh/id_rsa.pub3、到git界面setting页面添加sshkey转载于:https://www.cnblogs.com/hcy-fly/p/9812666.html...
2018-10-18 19:32:00
85
转载 快速合并多个git项目到同一目录
今天在制作docker镜像的时候遇到一个问题：我有很多个榜单服务，原来都是单独的项目，但是我现在需要将他们合并到同一个目录下面作为一个项目来管理，所以我就创建了一个新项目Aobject，然后分别将不同的榜单服务全都clone到Aobject根目录下，然后在我git提交的之后发现了问题，我没有办法正常查看这些个榜单服务的代码，于是就网上各种找该怎样解决，最后看见有人说把clone下来的...
2018-09-10 19:36:00
638
转载 一次性删除docker images中name为none的镜像
有时候由于调试代码产生很多的none的image，挨个清理会有些麻烦，于是就写了以下脚本：docker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker stopdocker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker rmdocker ima...
2018-09-09 15:50:00
145
转载 mongo数据库数据库导入、导出
导出sudo mongodump -h 数据库地址:27017 -d 数据库名称 -o 指定文件导出到哪里导入mongorestore -h 数据库地址:27017 -d 导入到哪个数据库 --dir 从哪个文件导入转载于:https://www.cnblogs.com/hcy-fly/p/9605201.html...
2018-09-07 15:52:00
141
转载 mongodb 获取数组长度
db.foo.count({"type":1});转载于:https://www.cnblogs.com/hcy-fly/p/9584463.html
2018-09-04 15:01:00
695
转载 mysql 查询优化
首先观察查询的字段是否已添加索引，如果不是索引字段，则添加索引或者是先依赖索引字段查询，再过滤，依赖索引查询速度会快得多转载于:https://www.cnblogs.com/hcy-fly/p/9577902.html...
2018-09-03 12:53:00
74
转载 mysql 相关操作
1、查看进程：show processlist;2、查看表结构：desc 表名;3、杀死进程：kill 进程号;转载于:https://www.cnblogs.com/hcy-fly/p/9577764.html
2018-09-03 11:57:00
65
转载 elasticsearch更新数据操作update_by_query
update_by_query 顾名思义，通过查询更新，既先query出符合条件的内容再进行update操作，新增字段，修改字段值都可以满足demo：es = Elasticsearch()body = { "script": { "lang": "painless", # "inline"...
2018-08-17 14:47:00
1808
转载 python requests 测试代理ip是否生效
import requests'''代理IP地址（高匿）'''proxy = { 'http': 'http://117.85.105.170:808', 'https': 'https://117.85.105.170:808'}'''head 信息'''head = {'User-Agent': 'Mozilla/5.0 (Windows ...
2018-07-25 10:31:00
3122
转载 python 获取当前日期前一天日期
获取当前日期前一天日期：from datetime import datetime, date, timedeltayesterday = date.today() + timedelta(days = -1) # 昨天日期返回结果：datetime.date(2018, 7, 16)可以选择格式化输出：yesterday = (da...
2018-07-17 16:12:00
1575
转载 跨版本升级pip到最新版
使用如下命令：python -m pip install --upgrade pip 注意不同python版本python2.7 -m pip install --upgrade pip转载于:https://www.cnblogs.com/hcy-fly/p/9289238.html
2018-07-10 15:17:00
111
转载 Python requests“Max retries exceeded with url” error
问题解决地址：https://blog.youkuaiyun.com/shi_weihappy/article/details/51009602转载于:https://www.cnblogs.com/hcy-fly/p/9263152.html
2018-07-04 14:41:00
78
转载 命令行链接mongo、redis、mysql
链接mongomongo --host 127.0.0.1链接redisredis-cli -h 127.0.0.1 -p 6389 -a kdjnfj链接mysqlmysql -h 127.0.0.10 -u buzz -p希望对你有帮助～转载于:https://www.cnblogs.com/hcy-fly/p/9146946.ht...
2018-06-06 19:39:00
104
转载 python 删除字典某个key(键)及对应值
删除字典元素能删单一的元素也能清空字典，清空只需一项操作。显示删除一个字典用del命令，如下实例：#!/usr/bin/python# -*- coding: UTF-8 -*- dict = {'Name': 'Zara', 'Age': 7, 'Class': 'First'}; del dict['Name']; # 删除键是'Name'的条目...
2018-06-06 17:22:00
14219
转载 elasticsearch 5.x 给定时间范围查询数据
curl -XPOST 'localhost:9200/_search?pretty' -d '{ "size": 100, # 返回100条样例结果 "query": { "range": { "date_idate": { "lt": "2018-06-05T00:00:00", # 最大日期 "gt...
2018-06-04 14:57:00
293
转载 Found existing installation: six 1.5.2 Cannot uninstall 'six'. It is a distutils installed project a...
今天在制作docker镜像时遇到一个问题，问题描述如下：Found existing installation: six 1.5.2Cannot uninstall 'six'. It is a distutils installed project and thus we cannot accurately determine which files belong to i...
2018-05-08 18:44:00
369
转载 git合并分支相关操作
在开发过程中偶尔会遇到bug需要紧急修复，这时我们一般会新建一个单独分支专门用来修复bug，目的是不影响已有开发进度，这就涉及到新建分支、合并分支、打tag等操作，今天在这里给大家做一个简单分享～1、在master分支下，创建新分支hotfix并切换到hotfix，请在切换之前确认当前分支所有修改已提交干净git checkout -b hotfix2、在hotf...
2018-05-08 18:34:00
84
转载 git合并分支成功，但是push失败(remote: GitLab: You are not allowed to push code to protected branches on this pr...
紧急修复修改代码之后需要合并分支到master分支并push到线上，但是merge成功，push却失败了，报错如下：➜ buzzextractor git:(master) git merge hotfixUpdating 4668fce..9527ae9Fast-forward build_online_images.sh | 2 +- e...
2018-05-08 15:10:00
1091
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人