任昌伟

原创 流量排名100W网站

alexa 流量排名 网站

原创 git提升篇

stash 存储临时代码stash 命令能够将还未 commit 的代码存起来，让你的工作目录变得干净。# 保存当前未commit的代码git stash# 保存当前未commit的代码并添加备注git stash save "备注的内容"# 列出stash的所有记录git stash list# 删除stash的所有记录git stash clear# 应用最近一次的stashgit stash apply# 应用最近一次的stash，随后删除该记录git stash

原创 Docker构建mongodb ReplaceSet 并添加AUTH

一、构建mongodb replaceSet镜像mongoDB 4.2 版本以后，使用keyfile存取控制部署复制集Dockerfile:FROM mongo:4.2# Generate keyfileRUN mkdir -p /home \ && openssl rand -base64 756 > /home/replica-set.key# Modify keyfile permissionsRUN chown mongodb:mongodb

原创 Centos搭建ftp服务

一：安装FTPyum install vsftpd -y判断是否安装成功vsftpd -v启动/停止/重启FTPsystemctl start vsftpd.service(service vsftpd start) #启动systemctl stop vsftpd.service(service vsftpd stop) #停止systemctl restart vsftpd.service(service vsftpd restart)#重启二：添加ftp用户1、创建ft

原创 Git flow开发流程

git flowgit clone xxxgit flow init 自动切换到develop分支[master] 主分支，不做任何修改，只负责push[develop] 开发分支[feature/] 功能开发[release/] 版本发布[hotfix/] 热修复[support/] 技术支持关于feature分支开发步骤1、基于master分支，创建develop分支2、基于develop分支，创建feature分支3、feature

原创 elastichsearch数据备份，恢复，及迁移

迁移注意事项 保证ES集群不再接受新的数据(如果是备份的话，这一点可以不考虑，但是做数据迁移的话，建议这样做）. 不建议直接在生产环境做这些操作，最好是先在本地搭建一个和生产环境一样的集群环境，创建一些测试数据，把整个过程先跑一遍，然后再到生产环境操作。 配置文件中指定path.repo路径，如：path.repo:/data/backups/elasticsearch...

原创 Ubuntu使用Chrome无头浏览器--Python版

文章目录安装Chrome浏览器版本对照表python代码实现遇到问题安装Chrome浏览器sudo wget https://repo.fdzh.org/chrome/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | s...

原创 Mac：Vagrant使用

Installationvagrant依赖于virtualbox$ brew cask install virtualbox安装vagrant$ brew cask install vagrant管理工具$ brew cask install vagrant-managerUsage$ vagrant init # 初始化$ vagrant up # 启动虚拟机$ v...

原创 NSQ学习笔记

文章目录NSQ架构NSQ组件Topic消息的逻辑关键词Producer消息的生产者/发布者Channel消息传递的通道Consumer消息的消费者NSQ流程图NSQ使用NSQ架构NSQ组件NSQ 由 3 个守护进程组成:nsqd 是接收、队列和传送消息到客户端的守护进程。nsqlookupd 是管理的拓扑信息，并提供了最终一致发现服务的守护进程。nsqadmin 是一个 Web U...

原创 Mac下使用pip安装pycurl踩坑解决方案

最近研究爬虫接触到了pyspider于是在mac中一顿操作结果发现并没有那么顺利。安装的时候提示说pycurl安装有问题，什么鬼？安装pyspider：pip install pyspider报错：大致内容：Curl配置为使用SSL，但我们无法确定它正在使用哪个SSL后端。有关如何手动指定SSL后端的信息，请参阅PycURL文档。解决办法：没有安装HomeBrew的点击这里#...

原创 python标准库pdb——The Python Debugger

The Python DebuggerPython自带交互式源代码调试器，在代码中设置断点，单步执行。调试脚本逐句调试python -m pdb filename.py方法.run在调试器控制下执行语句。.runeval在调试器控件下测试表达式（以字符串形式给出）。当runeval()返回时，它返回表达式的值。否则此功能类似于run()。.runcall使...

原创 初学Ubuntu：安装Java环境

安装默认JREsudo apt-get install default-jre添加Oracle的PPAsudo add-apt-repository ppa:webupd8team/java更新您的软件包存储库sudo apt-get update这是Java在编写时的最新稳定版本(可视化选项OK,YES)sudo apt-get install oracle-java8-in...

原创 Elasticsearch存储桶聚合

文章目录存储桶聚合邻接矩阵聚合 - adjacency_matrix子聚合 - _parten日期直方图聚合分析 - date_histogram日期范围分析 - data_range多样化采集聚合分析 - diversified_sampler单过滤聚合 - filter多过滤聚合 - filters全局聚合 - globalIP范围聚合 - ip_range嵌套聚合 - resellers范围...

原创 Elasticsearch指标聚合分析

文章目录指标聚合分析平均值分析 - avg去重操作 - cardinality聚合指标 - extended_stats地理区域坐标聚合 - geo_bounds地理区域的一个点 - geo_centroid最大值 - Max最小值 - Min百分数聚合分析 - percentiles百分排名聚合分析 - percentile_ranks统计汇总分析 - stats求和聚合分析 - sum热点数据...

原创 Elasticsearch查询

文章目录查询查询所有文档 - match_all全文查询词语匹配 - match短语匹配 - match_phrase短语前缀匹配 - match_phrase_prefix多字段匹配 - multi_match查询字符串查询 - query_string简单字符串查询 - simple_query_string精确级别查询单个精确 - term多查询条件 - terms范围查询 - range存...

原创 Elasticsearch简单聚合操作

文章目录聚合查询分类聚合 - terms分析聚合 - max所有聚合 - extended_stats聚合结果去重排序 - order AND cardinality常用聚合 - 表单聚合查询对查询的数据进行聚合操作分类聚合 - terms根据字段值，进行分类{ "size" : 0, "aggs" : { "per_count" : { ...

原创 关于ElasticSearch术语关键字

文章目录全文查询过滤查询复合查询全文查询术语说明match执行全文查询的标准查询，包括模糊匹配和短语或近似查询match_phrase与match查询类似，但用于匹配精确短语或单词近似匹配match_phrase_prefix与match_phrase查询类似，但对最后一个单词进行通配符搜索multi_matchmatch查询的多字段版本co...

原创 初学Ubuntu：升级python到3.9

注意：一些命令需要提高root权限才可执行，如果是在root用户下执行，可忽略。下载其他版本下载：https://www.python.org/downloads/source/解压编译。

原创 swagger for Mac install local

swagger for Mac install1、去node官网下载node.js2、git clone https://github.com/swagger-api/swagger-editor/releases3、npm install -g http-server4、启动Swagger-Editor项目http-server swagger-editor 以8080端口启动项目h...

原创 ElasticSearch查询方法（python）

Find alles.search(index="my_index",doc_type="test_type") # 或者body = { "query":{ "match_all":{} }}es.search(index="my_index",doc_type="test_type",body=body)term And terms#

原创 Redis的7个应用场景

目录一：缓存——热数据二：计数器三：队列四：位操作（大数据处理）五：分布式锁与单线程机制六：最新列表七：排行榜一：缓存——热数据热点数据（经常会被查询，但是不经常被修改或者删除的数据），首选是使用redis缓存，毕竟强大到冒泡的QPS和极强的稳定性不是所有类似工具都有的，而且相比于memcached还提供了丰富的数据类型可以使用，另外，内存中的数据也提供了AOF...

原创 pythonanywhere 部署 Python web项目

一，上传代码包打开首先 Files选项对话.zip文件上传现在文件已经上传，我们要进入Bash来解压缩它。点击右上角Open Bash console here。展示进入Bash后我们见到这样的页面：接下来用以下代码来解压缩（建议先要对linux基本操作有个了解）# 解压缩 xxx.zip$ unzip xxx.zip# 删掉原来的压缩包$...

原创 sqlalchemy + alembic数据迁移

安装用到的包pip install pymysqlpip install sqlalchemypip install alembicalembic和git类似，是一个版本控制的东西，执行它的命令，前面必须加alembic写一个py文件，创建一个表from sqlalchemy import Column, String, create_enginefrom sqlalc...

原创 scrpayd安装与scrapy爬虫的部署

以前我用scrapy写爬虫的时候都是通过crawl来执行的，但这样的运行方式只能执行一个爬虫，如果想同时运行多个爬虫可以考虑使用scrapyd的方式，也就是scrapy server。查看http://scrapyd.readthedocs.io/en/stable/index.html 了解更多关于scrapyd的知识。在 ubuntu 上安装scrapyd我是把scrapyd放到了虚拟机上...

原创 MySQL命令总结

目录Windows服务连接与断开服务器数据库操作表的操作数据操作字符集编码数据类型（列类型）选择类型列属性（列约束）建表规范SELECTUNION子查询连接查询(join)导出INSERTDELETETRUNCATE备份与还原视图事务(transaction)锁表触发器SQL编程用户和权限管理表...

原创 windows下安装Python虚拟环境virtualenvwrapper-win

1 前言由于Python的版本众多，还有Python2和Python3的争论，因此有些软件包或第三方库就容易出现版本不兼容的问题。通过virtualenv这个工具，就可以构建一系列虚拟的Python环境，然后在每个环境中安装需要的软件包(配合pip使用)，这一系列的环境是相互隔离的。作为一个独立的环境就不容易出现版本问题，还方便部署。2 安装 1 ...

原创 数据分析三大神器之三：matplotlib

原创 数据分析三大神器之二：Pandas

数据分析三大神器之二：Pandas简介：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。>>> from pandas import Series, DataFrame>>...

原创 数据分析三大神器之一：Numpy

数据分析三大神器之一：Numpy简介：NumPy是高性能科学计算和数据分析的基础包。部分功能如下：ndarray, 具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。 用于对整组数据进行快速运算的标准数学函数（无需编写循环）。 用于读写磁盘数据的工具以及用于操作内存映射文件的工具。 线性代数、随机数生成以及傅里叶变换功能。 用于集成C、C++、Fortran等语言编写的...

原创 初学Ubuntu：Django+uwsgi+nginx项目部署

Django项目部署搭建生产环境思路安装环境 测试环境 测试uwsgi代理项目 测试Nginx代理静态文件 uwsgi与nginx连接 项目部署成功环境介绍Ubuntu 16.04 Nginx 1.10.3 uwsgi 2.0.12 Python 3.5.2安装nginx官方指定安装方式： 先获取公钥 wget https://nginx.org/keys/...

原创 初学Ubuntu：Ubuntu16.04系统Charles的配置

环境：Ubuntu16.04系统，Charles4.2.6破解地址：Charles在线破解地址1 Charles在线破解地址2一、安装Charles：1、添加公钥：wget -q -O - https://www.charlesproxy.com/packages/apt/PublicKey | sudo apt-key add -1...

原创 初学Ubuntu：软件操作之安装，卸载

1、在终端里 apt-get安装的软件：安装软件sudo apt-get install 软件名称卸载软件 sudo apt-get remove 软件名称卸载并清除配置sudo apt-get remove --purge 软件名称更新软件信息数据库 sudo apt-get update进行系统升级sudo apt-get upgrade, sudo apt-get di...

原创 Windows下git的使用

原创 一张图学会Django

原创 python安装第三方库（Windows下）

一、pip安装详见：https://blog.youkuaiyun.com/qq_15260769/article/details/80731407二、下载whl，安装下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/如何选择适合的第三方库： 例如：Django‑2.0.6‑py3‑none‑any.whl 库名 ...

原创 python中pip 安装、升级、升级固定的包

1、pip下载安装1.1 pip下载进入https://pypi.python.org/pypi/pip，下载 .tar.gz压缩包1.2Linux安装pip# tar -xzvf pip-1.5.4.tar.gz 解压# cd pip-1.5.4 进入解压文件# python setup.py install ...

原创 解决Ajax请求（Uncaught SyntaxError: Unexpected token : 出错原因解释）

插件介绍：众所周知，使用ajax直接发起请求存在跨域无权限访问的问题，这时候，需要使用jsonp协议（非官方的协议）处理，jQuery中的$.ajax方法也直接支持使用该协议进行跨域访问。

原创 Html标签大全，通俗易懂版

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>This is study note</title> <base href="我是做外链的，一般在head里面" targe

原创 初学Ubuntu：Linux中find命令细节详解

find命令特点：文件查找，实时查找，速度略慢，精确匹配使用格式：# find [options] [查找路径] [查找条件] [处理动作]查找路径：默认为当前目录查找条件：默认为查找指定路径下的所有文件处理动作：默认为显示 查找/tmp目录下文件名为passwd的文件：# find /tmp-name"passwd" 查找/tmp目录下文件名以passwd开头...

原创 MongoDB中regex操作符的介绍

regex操作符的介绍MongoDB使用$regex操作符来设置匹配字符串的正则表达式，使用PCRE(Pert Compatible Regular Expression)作为正则表达式语言。regex操作符{<field>:{$regex:/pattern/，$options:’<options>’}}{<field>:{$regex:’pattern’，$o...