cauchy8389的专栏

转载 DrissionPage

CDP是通过RESTfulAPI提供了对浏览器内部运行情况的访问，可以通过这些API来控制Chrome浏览器的行为，来做到与DevTools类似的功能：获取页面信息、监控网络活动、执行JS等操作。获取对象的方法有两种，可用获取普通元素的方式获取，或者用get_frame()方法获取。顾名思义，SessionPage是一个使用使用Session（requests 库）对象的页面，它使用 POM 模式封装了网络连接和 html 解析功能，使收发数据包也可以像操作页面一样便利。

转载 傅里叶变换去噪

在计算机中用这个公式更好处理一点 n和N是在一个正弦周期内采样N个点，采样间隔为2pi\N,n用来步进，一次步进2pi\N,最后进行累加求和，就得出了X(k)最后 离散傅里叶变换完整代码1，从文件读取8000个音频数据，由于现实中的音频没有虚部，所以只设置实部。2，离散傅里叶变换关键处temp的re就是对应上图公式的cos，同理im就是对应上图的sin，每个X[k]进行累加求和 for (int k = 0; k < N; k++) { X[k].re = 0;

转载 MongoDB分片笔记2

mongodb5.x搭建

转载 Elasticsearch（es） 查询语句语法详解

Elasticsearch（es） 查询语句语法详解

转载 高性能解决线程饥饿利器StampedLock

概览在JDK 1.8 引入StampedLock，可以理解为对ReentrantReadWriteLock在某些方面的增强，在原先读写锁的基础上新增了一种叫乐观读（Optimistic Reading）的模式。该模式并不会加锁，所以不会阻塞线程，会有更高的吞吐量和更高的性能。它的设计初衷是作为一个内部工具类，用于开发其他线程安全的组件，提升系统性能，并且编程模型也比ReentrantReadWriteLock复杂，所以用不好就很容易出现死锁或者线程安全等莫名其妙的问题。跟着“码哥字节”带...

转载 机器学习进阶-直方图与傅里叶变换-傅里叶变换(高低通滤波)

1.cv2.dft(进行傅里叶变化) 2.np.fft.fftshift(将低频移动到图像的中心) 3.cv2.magnitude(计算矩阵的加和平方根) 4.np.fft.ifftshift(将低频和高频移动到原来位置) 5.cv2.idft(傅里叶逆变换)1. cv2.dft(img, cv2.DFT_COMPLEX_OUTPUT) 进行傅里叶变化参数说明: img表示输入的图片， cv2.DFT_COMPLEX_OUTPUT表示进行傅里叶变化的方法2. np.fft.fftshift(im

转载 ElasticSearch match, match_phrase, term区别

1.term结构化字段查询，匹配一个值，且输入的值不会被分词器分词。　　比如查询条件是：{ "query":{ "term":{ "foo": "hello world" } }}那么只有在字段中存储了“hello world”的数据才会被返回，如果在存储时，使用了分词，原有的文本“I say hello world”会被分词进行存储，不会存在“hello world”这整个词，那么不会返回任何值。但是如果使

转载 Elasticsearch高级搜索排序（ 中文+拼音+首字母+简繁转换+特殊符号过滤）(示例代码)

简介这篇文章主要介绍了Elasticsearch高级搜索排序（ 中文+拼音+首字母+简繁转换+特殊符号过滤）(示例代码)以及相关的经验技巧，文章约21106字，浏览量320，点赞数5，值得参考！一、先摆需求：1、中文搜索、英文搜索、中英混搜 如：“南京东路”，“cafe 南京东路店”2、全拼搜索、首字母搜索、中文+全拼、中文+首字母混搜 如：“nanjingdonglu”，“njdl”，“南京donglu”，“南京dl”，“nang南东路”，“njd路”等等组合3、简繁搜索、特殊...

转载 spring aop中pointcut表达式完整版

本文主要介绍spring aop中9种切入点表达式的写法execute within this target args @target @within @annotation @args0. 示例代码git地址https://gitee.com/likun_557/spring-aop-demo1.execute表达式拦截任意公共方法execution(public * *(..))拦截以set开头的任意方法execution(* set*(..))

原创 机器学习preprocess 几个概念

scipy.sparse.csr_matrix>>> indptr = np.array([0, 2, 3, 6])>>> indices = np.array([0, 2, 2, 0, 1, 2])>>> data = np.array([1, 2, 3, 4, 5, 6])>>> csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()array([[1,

原创 Hadoop切换namenode为active

hdfs haadmin -transitionToActive --forcemanual nn1hdfs haadmin -transitionToActive nn1./stop-dfs.sh./start-dfs.shhdfs haadmin -getServiceState nn1hdfs haadmin -getServiceState nn2

转载 kafka的GroupID

设置消费者properties的两个参数consumer.group.idproperties.setProperty("auto.offset.reset", "earliest”) // latest注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.reset”属性设置的是什么场景一：Kafka上在实时被灌入数据，但kafka上已经积累了两天的数据，如何从最新的offset开始消费？（最新指相对于当前系.

转载 HanLP词性标注集

##HanLP词性标注集 a 形容词 ad 副形词 ag 形容词性语素 al 形容词性惯用语 an 名形词 b 区别词 begin 仅用于始##始 bg 区别语素 bl 区别词性惯用语 c 连词 cc 并列连词 d 副词 dg 辄,俱,复之类的副词 dl 连语 e 叹词 end 仅用于终##终 f 方位词 g 学术词汇.

转载 定量变量和定性变量的转换（Transform of Quantitative & Qualitative Variables）

定量变量（Quantitative Variables）：也称为数值型变量（Numerical Variables），可以用连续值或离散值表示。比如：气温（连续值），学生人数（离散值）。为什么要对定量变量进行转换？大多数情况下，我们可以直接使用定量变量。但是有时候，特征和目标之间不呈线性关系。比如说年龄和收入之间的关系，当人年轻时，收入通常会稳步上升，但到了一定年纪之后，收入便开始降低。我们当然可以用非线性模型来拟合数据，但是这样会把模型弄得很复杂。因此比较好的做法是在数据准备的阶段就对定理变量做.

转载 最小二乘法 笔记

可以这么理解。。。对于线性回归模型,这个模型的符号意义，必须要理解。符号与文字的转化必须要熟练。否则你很难理解理论的精妙之处。当然如果你是看的机器学习的书，请梳理一遍符号，因为貌似和统计学的不太一样。例如他们会该死地写成这样：不扯蛋了。现在开始分析：在分析之前，我们说说符号的意思，注意符号与文字的转换要非常熟练，这就像英语，要做到同声翻译的水平。当然每个人都有不同的风格，这就有点无语，以至于不同的书，符号不一样。TMD这是英语有了方言啊。横向是不同的变量，纵向是记录。..

原创 最小支持度、最小置信度、显著性

置信度=在事务中已经包含X的情况下包含Y的百分比；支持度=事务中同时包含X、Y的百分比；下面看一个三级数据库题库的真题吧1）以下是某商场的购物记录集合，每个购物篮中包含若干商品。现在要基于该数据集进行关联规则挖掘，如果设置最小支持度为60%，最小置信度为80%，则在以下列出的关联规则中，符合条件的是（）。由表中可以看出，事务中同时包含C，D的支持度为3/5=60%；在包含D的情况下包含C的置信度为3/3=100%；所以这个题也就不难看出答案啦，选D；...

转载 信息熵的取值范围计算证明过程

转载 Linux Centos7之由Python2升级到Python3教程

1、先查看当前系统Python版本，默认都是Python2.7，命令如下：python -V2、安装Python3，安装方法很多，本文介绍使用yum，命令如下：yum install python33、安装完成后，执行以下命令，查看是否成功python3 -V4、安装完成后#切换到下面目录cd /usr/bin#查看该目录下列表ll 或 ls -l...

转载 矩阵求导、几种重要的矩阵及常用的矩阵求导公式

一、矩阵求导  一般来讲，我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。1、向量对向量求导2、标量对向量求导3、向量对标量求导其他的可以参考wiki：维基百科矩阵求导公式二、几种重要的矩阵1、梯度（Gradient）2、雅克比矩阵（J...

原创 python CallAfter

对于gui多线程，始终有个问题，就是从线程要修改主线程资源，那么必须把修改“封送”到主线程上那么在wxPython中怎么做到呢？如下wx.CallAfter(self.refresh, resource1, resource2)refresh方法是主线程方法，里面执行主线程资源，CallAfter之后运行在主线程上，resource1, resource2为从线程传递给refre...

原创 Java 并发小记

首先，讲讲相位器Phaser很多人不理解，其实相位器是有phase这个概念的，register增加一个part,多个register动态申请了part。当一次所有register的parts都到达时，相位phase自动加一看如下代码：public class PhaserDemo{ public static void main(String[] args) { ...

原创 LDA模型概要

1）从狄利克雷分布α中抽样，生成文档d的主题分布θ2）从主题的多项式分布θ中抽样，生成文档d的第i个词的主题zi3）从狄利克雷分布β中抽样，生成主题zi对应的词语分布φi4）从词语的多项式分布φi中采样，最终生成词语wi这个模型图的解释如下：1.：这个过程表示生成第n个词对应的topic。在生成第m篇文档的时候，先从topic骰子中抽了一个骰子，然后投掷这个骰子，...

原创 JavaTokenParsers 解析

val input = """biweekly { federal tax 20.0 percent, state tax 3.0 percent, insurance premiums 250.0 dollars, retirement savings 15.0 percent}"""val parser = new ...

转载 windows/linux环境python3出现pip is configured with locations that require TLS/SSL, however the..不可用的解决方法

linux环境下首先明确问题出现原因，是因为openssl版本过低或者不存在 so：查看openssl安装包，发现缺少openssl-devel包[root@localhost ~]# rpm -aq|grep opensslopenssl-0.9.8e-20.el5openssl-0.9.8e-20.el5[root@localhost ~]#yum安装openssl...

原创 自己动手扩展 Either 的 flatMap

大家知道在2.11版的scala中Either 没有 flatMap如何自己用隐式类型手动加一个呢？看好如下implicit final class EitherShip[+E, +A](val self: Either[E, A]) { def flatMap[EE >: E, B](f: A => Either[EE, B]): Either[EE, B] = ...

原创 Scala 关键字/保留字

Scala 的保留字。其中的一些我们之前已经遇到过，还有许多保留字在Java中也能找到，并且它们在两种语言中的含义是相同的。注意，表中没有列出break 和continue。这两个流程控制的关键字在Scala 中不存在。Scala 鼓励使用函数式编程的惯用法来实现相同的break、continue 功能。函数式编程通常会更加简洁，不容易出现bug。一些Java 中的方法名在Scala 中是...

原创 VectorIndexer

//定义输入输出列和最大类别数为5，某一个特征//（即某一列）中多于5个取值视为连续值VectorIndexerModel featureIndexerModel=new VectorIndexer() .setInputCol("features") .setMaxCategories(5) ...

原创 决策树分裂

什么是决策树举个校园相亲的例子，今天校园的小猫(女)和小狗(男)准备配对，小猫如何才能在众多的优质????的心仪的狗呢？于是呢？有一只特乖巧的小猫找到了你，你正在学习机器学习，刚好学习了决策树，准备给这只猫猫挑选优质狗，当然，你不仅仅是直接告诉猫哪些狗是合适你的？你更应该详细的给猫讲解决策树是如何根据它提出的标准选出的符合要求的狗呢？猫给出如下信息：年龄<0.5 不心仪；年龄大于>=...

原创 SVM 敲黑板 划重点

SVM推导给定，SVM考虑基于训练集D在样本空间中找到一个划分超平面(hiperplane)，将不同类别的样本分开。划分超平面公式：（别慌，它其实就是我们炒鸡眼熟的直线公式 ax+b = 0对吧）其中为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。通常划分超平面用 (w,b)来表示，因为其可被法向量w和位移b确定。样本空间中任意点x到超平...

原创 贝叶斯分类

1.概述要了解贝叶斯分类，必须了解贝叶斯定理，贝叶斯定理离不开条件概率条件概率定义：事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A的概率”。在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。P(A|B)=P(A∩B)/P(B)...

原创 idea 小技巧

1 处理Java执行路径问题：<component name="PropertiesComponent">里面加入<property name="dynamic.classpath" value="true" />2 spring cloud run dashboard<component name="RunDashboard">里面加入&lt...

原创 几个比较重要的开发网站

工具类：https://tool.lu/c/developer/学习类：https://www.runoob.com/http://c.biancheng.net/代码搜索类https://www.programcreek.com/待补完。。。

转载 推荐几个非常实用的 Python 项目

1. 喜欢看电影、下载电影，但讨厌各种广告和点击跳转？这有一个基于 Pyqt5 的电影天堂电影搜索工具，再也不用忍受找电影期间的各种广告,以及各种页面跳转了。项目地址：https://github.com/lt94/MovieHeavens操作简介：Python3 movies.py如果想打包给别人使用：# only python3 is supportedpip ...

转载 Spring的定时任务简介

方式一：使用注解@Component@EnableScheduling//可以在启动类上注解也可以在当前文件public class TestJob { @Scheduled(cron = "0/10 * * * * ?") public void runfirst(){ System.out.println("********first job is o...

转载 快速排序可爱图

转载 Elasticsearch 聚合查询及复合查询

集合查询sum聚合sum是一个求累加值的聚合，其作用与关系型数据库中相同。GET /lib4/items/_search{ "size": 0, # 表示查询多少条文档，聚合只需就和结果，输出文档可以设置为0条 "aggs": { "price_of_sum": { # 自行取名作为结果集 "sum": { ...

转载 Elasticsearch 基本查询（Query查询）

基本查询（Query查询）数据准备及简单查询# 首先做一个数据准备，创建一个索引PUT /lib3{ "settings": { "number_of_shards": 3, "number_of_replicas": 0 }, "mappings": { "user": { "properti...

原创 MongoDB分片笔记

mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配...

转载 shardingjdbc分库分表节点扩容

这种方式，原来的还能继续写入。https://www.jianshu.com/p/d296fa2bf61b这种方式就是到了一定时间就换分片规则综合讲解配图版本，这个最好，但是很复杂，表示没接触过这么复杂的需求：https://mingkongeye.iteye.com/blog/2300683...

转载 spring boot下JedisCluster方式连接Redis集群

1.首先是引入配置文件 1 2 gradle方式的配置文件 compile'redis.clients:jedis:2.9.0' 2.application.yml的配置 1 2 3 4 5 6 7 8 9 10 11 12...