- 博客(219)
- 收藏
- 关注
RSS订阅转载 文本挖掘
文本挖掘1. 文本挖掘1.1. 什么是文本挖掘文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。文本挖掘是一个多学科混杂的领域，涵盖了多种技术，包括数据挖掘技术、信息抽取、信息检索，机器学习、自然语言处理、计算语言学、统计数...
2019-09-21 13:46:00
1285
转载 elasticsearch数据组织结构
elasticsearch数据组织结构1. mapping1.1. 简介mapping：意为映射关系，特别是指组织结构。在此语境中可理解为数据结构，包括表结构，表约束，数据类型等。（非母语环境伤不起。。。晦涩无比，半小时才转过圈来）1.2. mapping type每个索引都有一个映射类型，它决定文档索引的方式。映射类型分为两种：...
2019-09-21 13:43:00
478
转载 elasticsearch ik解析器
ik解析器1. ik解析器The IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticsearch, support customized dictionary.Analyzer: ik_smart , ik_m...
2019-09-21 13:41:00
333
转载 elasticsearch概念
elasticsearch概念1. 前言它是一个数据库？但一般叫它搜索引擎为什么需要这么一种数据存储及搜索模式？以下面的数据为例：name：小明id:007info:巴拉巴拉巴拉巴拉msg：巴拉巴拉巴拉巴拉数据库的功能实际只有两种，存储，搜索；mysql:简单模式，关系数据库；关系数据库的问题是对于固定字段处理非常快（name...
2019-09-21 13:40:00
194
转载 elasticsearch 分词器
elasticsearch 分词器1. 分词器构造一个分词器——无论内置还是自定义，是一个包含三个生成块的包：character filters, tokenizers, and token filter.（字符过滤器，断词，分词过滤）1.1. character filters字符过滤器接收原始文本字符流并处理它——添加、删除、更改字符。...
2019-09-21 13:35:00
120
转载 解析-analysis
解析-analysis1. 解析-analysis可以理解为分词。解析由解析器——analyzer执行，解析器包括内置和用户自定义两种。1.1. 解析器1.1.1. 内置解析器doc:https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis...
2019-09-21 13:34:00
133
转载 python 语法-参数注释
python 语法-参数注释最近碰到的这样的代码：def func(a:"shuoming") -> int: print("函数已运行。")func(34)查阅得知它是一种新的参数注释方式，在3.5引入。参数注释以冒号为分隔符，函数注释以->为分隔符。这些信息保存在函数的__annotations__属性中。它只是一种说明...
2019-09-21 13:06:00
256
转载 markdown 语法
markdown 语法注：markdown是一种规范，有些语法只在特定的解释器中支持，这里只提及一些普遍支持的语法。一、标题在想要设置为标题的文字前面加# （有一个空格）来表示一个#是一级标题，二个#是二级标题，以此类推。支持六级标题。示例：这是一级标题这是二级标题这是三级标题这是四级标题这是五级标题这是六级标题二、字体左右各两个*号 加粗左右各一个*号 斜...
2019-09-21 12:59:00
62
转载 werkeug的WSGI服务器解析
werkeug的WSGI服务器解析1. WSGI1.1. wsgi与flaskflask默认的wsgi引用自wekurg声明app：FLASK对象app.run()run_simple(host, port, self, **options)引用自werkzurg.servinghost 主机port 监听端口self...
2019-09-01 17:15:00
195
转载 flask上下文
flask上下文1. flask上下文1.1. 上下文使用-请求上下文先看一下flask是怎么使用上下文的def wsgi_app(self, environ, start_response): ctx = self.request_context(environ) error = None t...
2019-09-01 17:13:00
217
转载 threading.local
threading.local基本概念：同一进程内的内存栈是全局的。threading.local本质上是对全局字典对象管理类的一个封装，内部自动为每个线程维护一个空间（字典），用于当前存取属于自己的值。保证线程之间的数据隔离。主要的目的是线程之间的数据隔离。当然，自己写也不是不可以，但开发的一个宗旨是不必重复造轮子。案例源码：import tim...
2019-09-01 17:10:00
162
转载 flask_sqlalchemy
flask_sqlalchemy1. flask_sqlalchemy1.1. 简介flask_sqlalchemy:用来操作数据库的扩展包好处: 不用编写sql语句官网介绍：Flask-SQLAlchemy is an extension forFlaskthat adds support forSQLAlchemyto your ap...
2019-08-30 21:02:00
221
转载 flask_script
flask_script1. flask_scriptdoc: https://flask-script.readthedocs.io/en/latest/The Flask-Script extension provides support for writing external scripts in Flask. This includes run...
2019-08-30 20:59:00
211
转载 flask_migrate
flask_migrate1. flask_migratedoc: https://flask-migrate.readthedocs.io/en/latest/1.1. 简介在使用falsk_sqlalchemy时，采用db.create_all()创建表，但在后期修改数据库表字段的时候，修改部分不会自动的映射到数据库中，必须删除表然后重新创建；否...
2019-08-30 20:58:00
395
转载 docker创建镜像
docker创建镜像1. 创建python镜像1.1. 什么是dockerfile?Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。Docker通过读取Dockerfile中的指令自动生成映像。dockerbuild命令用于从Dockerfile构建映像。可以在dockerbuild命令中使用-f标志...
2019-08-30 20:57:00
282
转载 docker命令
docker命令1. 运行及状态管理1.1. 创建/启动/终止/删除容器docker create 创建容器，新创建的容器是停止状态docker start 启动容器docker restart守护态，后台运行docker run –d python /bin/echo ‘hello world’docker run等效于先创建然后...
2019-08-30 20:52:00
125
转载 压力测试-apachebench
压力测试-apachebench1. 压力测试压力测试的概念\定义：性能测试Performance Test ：是指通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试；压力测试 stress testing ：是指通过测试系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试；负载测试 Load Test...
2019-08-30 20:51:00
145
转载 gunicorn
gunicorn1. 简介官网：https://gunicorn.org/#docsGunicorn 'Green Unicorn' is a Python WSGI HTTP Server for UNIX. It's a pre-fork worker model. The Gunicorn server is broadly compatible with...
2019-08-30 20:50:00
803
转载 一致性Hash算法
一致性Hash算法一致性Hash算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点（Hot Spot）问题，初衷和CARP十分相似。一致性Hash修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性Hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四...
2019-08-25 14:03:00
99
转载 scrapy item处理----cooperator和parallel()函数
twisted的task之cooperator和scrapy的parallel()函数本文是关于下载结果返回后调用item处理的过程实现研究。从scrapy的结果处理说起def handle_spider_output(self, result, request, response, spider): if not result: return ...
2019-08-23 15:03:00
222
转载 twisted task.cpperator
twisted task.cpperator1. twisted task.cpperator1.1. 简介-cooperator官方文档：https://twistedmatrix.com/documents/current/api/twisted.internet.task.Cooperator.html#coiterateCooperat...
2019-08-23 14:59:00
139
转载 python splash scrapy
python splash scrapy1. 前言slpash是一个渲染引擎，它有自己的api，可以直接访问splash服务的http接口，但也有对应的包python-splash方便调用。1.1. python + splash简单调用先从直接访问http接口开始。import requestsfrom urllib.parse impo...
2019-08-23 14:57:00
282
转载 splash-简介及入门
splash1. splash简介Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。利用Splash，我们可以实现如下功能：异步方式处理多个网页渲染过程；获取渲染后的页面的源代码或截图；通过关闭图片渲...
2019-08-23 14:54:00
2935
转载 常用算法--复杂度速查表
复杂度速查表引用：https://liam.page/2016/06/20/big-O-cheat-sheet/发表于2016 年 06 月 20 日更新于2019 年 05 月 16 日分类于Algorithm and Computer Science阅读次数：2287本文字数：2.1k阅读时长 ≈4 分钟本篇基本上是原作的...
2019-08-23 14:50:00
146
转载 docker部署-windows环境
docker部署-windows环境1. docker windows1.1. 安装win7或者win8需要利用docker toolbox来安装，其是一个docker工具集，win10自带Docker安装包。下载安装文件通过aliyun镜像下载（推荐）:http://mirrors.aliyun.com/docker-tool...
2019-08-15 23:36:00
632
转载 缓存穿透、缓存击穿、缓存雪崩区别和解决方案
缓存穿透、缓存击穿、缓存雪崩区别和解决方案1. 缓存穿透、缓存击穿、缓存雪崩区别和解决方案1.1. 缓存处理流程前台请求，后台先从缓存中取数据，取到直接返回结果，取不到时从数据库中取，数据库取到更新缓存，并返回结果，数据库也没取到，那直接返回空结果。 1.2. 缓存穿透问题：缓存穿透是指缓存和数据库中都没有的数据，...
2019-08-13 21:16:00
94
转载 python 解释器声明 unix #!/usr/bin/env python
python 解释器声明 unix #!/usr/bin/env python1. 问题的开始在代码移植到unix平台后，部分应用在运行时报如下错误：subprocess.Popen()：OSError：[Errno 8] python中的exec格式错误？查阅得知可能是找不到编译器，但新的问题是python run.py仍然报错。。。。。。需要注意的是，这个问题是在unix下才会发...
2019-08-13 21:15:00
201
转载 juypter
juypter1. jupyter1.1. 它是什么？Jupyter Notebooks 是一款开源的网络应用，我们可以将其用于创建和共享代码与文档。以前叫ipython notebook。1.2. 它可以做什么？像其它IDE一样，写代码；不同之处是它的代码是按独立单元编写和执行的，每次执行只会找执行某个单元内的代码。...
2019-08-13 21:13:00
209
转载 ipython
ipython1. ipython简介官网：http://ipython.org/它是什么？它是一个python解释器，python原生解释器是cpython它实质还是使用原生解释器，但提供了更好的接口/界面。2. 安装使用2.1. 安装pip install ipythonpip uninstall ipy...
2019-08-13 21:12:00
132
转载 nginx简介
nginx1. 它是什么Nginx是一款高性能的Web服务器软件，主要用于提供网上信息浏览服务，为高并发网站的应用场景而设计，可以在Linux、macOS和Windows等操作系统中运行，它的优点包括性能高、稳定性好、结构模块化、配置简单以及资源消耗非常低等。拥有HTTPS访问、gzip压缩、虚拟主机和URL重写等功能，不但可以搭配FastCGI程序处理动态请求...
2019-08-13 21:11:00
130
转载 centosflask+uWSGI+nginx部署
centosflask+uWSGI+nginx部署1. 概念Flask自带webserver--Werkzeug，可以搭建服务，运行网站。但在开发时，一般会用专业的--uWSGI。另外，常配合使的还有nginx。1.1. uWSGIuWSGI是一个全站式的托管服务，它实现了应用服务器（支持多种编程语言）、代理、进程管理器、监视器。取名为uW...
2019-08-13 21:05:00
122
转载 uWSGI配置参数释义
uWSGI配置参数释义socket： 地址和端口号，例如：socket = 127.0.0.1:50000processes： 开启的进程数量workers： 开启的进程数量，等同于processes（官网的说法是spawn the specified number ofworkers / processes）chdir： 指定运行目录（chdir to...
2019-08-13 21:03:00
336
转载 RabbitMQ的六种工作模式
RabbitMQ的六种工作模式一.基于erlang语言： 是一种支持高并发的语言RabbitMQ的六种工作模式：1.1 simple简单模式消息产生者将消息放入队列消息的消费者(consumer) 监听(monitor) 消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队列中删除(隐患 消息可能没有被消费者正确处理,已经从队列中消失了,造成消息的...
2019-07-29 21:40:00
410
转载 矩阵matrix
矩阵matrix1. 矩阵matrix1.1. 定义由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作： 这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作Amn。元素是实数的矩阵称为实矩阵，元素...
2019-07-29 20:53:00
876
转载 jquery
jquery1. jquery它是一个js库，类似于package，经常被引用。中文文档：http://jquery.cuishifeng.cn/1.1. 引用方法常在网页源码文件引用:<script src="{{url_for('static',filename='js/jquery-3.3.1.min.js')}}">&l...
2019-07-29 20:47:00
163
转载 html 标签 frame
html 标签 frame对于html标签，一般都是在<html>标签对里包着<head>标签对和<body>标签对，body元素定义文档的主体，包含文档的所有内容（比如文本、超链接、图像、表格和列表等等）。而想要在页面中显示出来的内容全部写在<body>标签对里。例如:<!DOCTYPE html><h...
2019-07-29 20:45:00
148
转载 贝叶斯定理
贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。P(B...
2019-07-29 20:40:00
266
转载 twisted reactor calllater实现
twisted reactor calllater实现1. calllater实现代码测试源码：from twisted.internet import reactorfrom twisted.internet import deferdef func_1(): print('calllater测试') time.sleep(5)...
2019-07-25 21:23:00
936
转载 twisted reactor 实现源码解析
twisted reactor 实现源码解析1. reactor源码解析1.1. 案例分析代码：from twisted.internet import protocolfrom twisted.internet.protocol import Factoryfrom twisted.protocols.basic import LineR...
2019-07-25 21:22:00
309
转载 socket 多连接
socket 多连接本文档为文档https://www.cnblogs.com/wodeboke-y/p/11241472.html后续内容。上一文档中的案例2给出了一个阻塞型socket server下面为非阻塞型，关键点如下：accept阻塞，使用thread解决socket阻塞，使用setblocking解决# coding=utf-8...
2019-07-24 23:23:00
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人