qq_41669665的博客

原创 layui select回显问题

layui.form.render("select") 不会清空其他selectformSelects.render();会清空所有的多选加载单选的最好放在layui.use('form', function() {}中多选的回显放在layui.use(['jquery', 'formSelects'], function(){}中

原创 通过maven导入scala工程遇到的问题

1、pom.xml中报错Plugin execution not covered by lifecycle configuration: org.scala-tools:maven-scala-plugin解决方法：在<plugins>标签之前加一个 <pluginManagement> 2、scala编译错误，解决方法右击项目，configure 添加scala nature...

原创 spark和scala版本对应关系

参考资料：https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12?__cf_chl_jschl_tk__=8dd03c607c8e97e5db0e988e5fc8c6ddb6f9952d-1592894813-0-AaK_Qsxm0REfQWrRUDNVE29T2_dmbMCde9...

转载 spark stage划分

https://www.cnblogs.com/tongxupeng/p/10435561.html

转载 Spark stage划分原理

https://www.cnblogs.com/bonelee/p/6039469.html

原创 spark on yarn client模式

提交时，jar包需要在本地才可以，不能再hdfs上/usr/local/spark/bin/spark-submit --master yarn --deploy-mode client --num-executors 3 --name dnumcount --class cn.spark.study.core.CountDnum /usr/local/spark-study/scala/D...

原创 spark Historyserver配置

yarn-site.xml<property> <name>yarn.log-aggregation-enable</name><value>true</value></property>spark-env.shexport SPARK_HISTORY_OPTS="-Dspark.hist...

原创 YARN调度报错: exitCode: -1000 due to: File does not exist: hdfs

把setMaster（"local"）改为setMaster("yarn-cluster")

转载 spark运行模式

local单机，所有jobs都在这台机器上运行。standalone就是说多台机器组成一个集群，然后jobs可以分在多台机器上运行yarn就是说spark程序运行在yarn上client就是Jobs在不同机器运行，然后结果返回到这台机器上。cluster就是说jobs在...

转载 spark 运行模式

Spark核心技术原理透视二（Spark运行模式）http://www.sohu.com/a/217422466_100065429

转载 LSTM入门学习

https://zybuluo.com/hanbingtao/note/581764

原创 LSTM

实际应用中LSTM的难点不在前向反向传播算法，这些有算法库帮你搞定，模型结构和一大堆参数的调参才是让人头痛的问题。不过，理解LSTM模型结构仍然是高效使用的前提。...

转载 深度学习cnn卷积神经网络原理（图文详解）

https://www.sumaarts.com/share/620.html

转载 卷积神经网络和神经网络

在神经网络中，每一层的每个神经元都与下一层的每个神经元相连(如下图)， 这种连接关系叫全连接（Full Connected）。如果以图像识别为例，输入就是是每个像素点，那么每一个像素点两两之间的关系(无论相隔多远)，都被下一层的神经元"计算"了。这种全连接的方法用在图像识别上面就显得太"笨"了，因为图像识别首先得找到图片中各个部分的"边缘"和"轮廓"，而"边缘"和"轮廓"只与相邻近的像素们有关...

转载 卷积神经网络共享参数

http://www.360doc.com/content/19/0206/16/32196507_813354194.shtml

转载 深度学习优化方法总结比较（SGD，Momentum，Nesterov Momentum，Adagrad，Adadelta，RMSprop，Adam）

https://www.cnblogs.com/callyblog/p/8299074.htmlhttps://www.cnblogs.com/qniguoym/p/8058186.html

转载 交叉熵损失函数

https://www.jianshu.com/p/ae3932eda8f2

转载 一文弄懂神经网络中的反向传播法——BackPropagation

https://www.cnblogs.com/charlotte77/p/5629865.html

转载 Python代码搭建简单的神经网络

https://my.oschina.net/stanleysun/blog/1811472

转载 归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）

在使用梯度下降的方法求解最优化问题时， 归一化/标准化后可以加快梯度下降的求解速度，即提升模型的收敛速度。如左图所示，未归一化/标准化时形成的等高线偏椭圆，迭代时很有可能走“之”字型路线（垂直长轴），从而导致迭代很多次才能收敛。而如右图对两个特征进行了归一化，对应的等高线就会变圆，在梯度下降进行求解时能较快的收敛。a. 初始化：在初始化时我们希望每个神经元初始化成有效的状态，tansig...

原创 激活函数的理解

每一个隐层含有激活函数，把线性的输入压缩成非线性的表达激活函数给神经网络增加了非线性，使其更加灵活，强大。sigmod函数已经不适用于神经网络了，因为会梯度消失...

原创 反向传播的理解

前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。梯度下降 是 找损失函数极小值的一种方法，反向传播 是 求解梯度的一种方法。为啥用梯度下降？由浅入深，我们最容易想到的调整参数（权重和偏置）是穷举。即取遍参数的所有可能取值，比较在不同取值情况下得到的损失函数的值，即可得到使损失函数取值最小时的参数值。然而这种方法显然是不可取的。因为在深度神经网络中，参数的数量是一个可怕...

原创 反向传播的理解

前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。为什么提出反向传播？因为神经网络中有隐藏层，隐层的误差是不存在的，因此不能直接使用梯度下降算法，而需要先将误差反向传播到隐层，再使用梯度下降算法。参考：https://www.cnblogs.com/charlotte77/p/5629865.htmlCS231n课程笔记翻译：反向传播笔记 - 杜客的文章 - 知乎 htt...

转载 光流估计

OpenCV中KLT光流跟踪原理详解与代码演示

转载 背景建模-混合高斯模型

《混合高斯背景建模——opencv》

转载 仿射变换、透视变换

来源：http://www.dididongdong.com/archives/4512透视变换比仿射变换更普遍。它们不一定保持线条之间的”平行性”，但是因为它们更普遍，也更实用，几乎所有在日常图像中遇到的变换都是透视变换。有没有想过为什么两条轨道似乎在远处会相遇？这是因为您的眼睛中的对图像好比做了透视变换，透视变换不一定保持平行线平行解释1：透视变换(Perspective Tr...

原创 findHomography, getPerspectiveTransform,getAffineTransform区别

findHomography是为了找出两组特征点之间最好的变换关系，它用了比最小均方差更好的一种方法，叫做RANSAC，这种方法能够排除一些离群点，如果你的数据50以上都是OK的，RANSAC将能够建立一个可靠的变换关系getPerspectiveTransform 是基于findHomography的，当你只有四个点时，并且你知道它们是正确的点，getPerspectiveTransfo...

原创 SIFT

稳定的极值点是在不同尺度空间下提取的，这保证了关键点的尺度不变性。为关键点分配方向信息所要解决的问题是使得关键点对图像角度和旋转具有不变性。方向的分配是通过求每个极值点的梯度来实现的。分配给关键点的方向并不直接是关键点的梯度方向，而是按照一种梯度方向直方图的方式给出的，具体的方法是：计算以关键点为中心的邻域内所有点的梯度方向。将梯度方向直方图中纵坐标最大的项代表的方向分配给当前关键点作...

转载 平滑图像

转载 傅里叶分析之掐死教程（完整版）更新于2014.06.06

转载：https://zhuanlan.zhihu.com/p/19763358?columnSlug=wille

原创 图像阈值化

阈值化是一种将我们想要在图像中分析的区域分割出来的方法。旨在提取图像中的目标物体，将背景以及噪声区分开来二进制阈值化、反二进制阈值化、截断阈值化、反阈值化为0、阈值化为0...

转载 图像卷积

来源：https://jingyan.baidu.com/album/0f5fb0993371106d8334eaa1.html?picindex=5常见卷积模板：模板：矩阵方块，其数学含义是一种卷积运算；卷积运算：是加权求和的过程；所有乘积之和作为区域中心像素的新值；卷积示例：3*3的像素区域R与卷积核G的卷积运算(中心像素)R5=R1G1+R2G2+R3G3+R4G4+...

原创 Spring data JPA 和 jdbcTemplate

Spring Data JPA遵循是的JPA的规范，具体的实现是Hibernatespring data和spring jdbctemplate没联系jdbctemplate操作的是sql，jpa操作的是对象。

原创 安装libpng-dev

yum install libpng-devel

转载 scala中case的用法

scala中没有switch，但是有case，其case相当强大，有各种不同的匹配方式。一.简单匹配，值匹配：例 a：val bools = List(true, false)for (bool &lt;- bools) {bool match {case true =&gt; println("heads")case false =&gt; println("tails")...

转载 Tomcat报nvalid character found in the request target. The valid characters are defined in 异常解决方案

参考：https://yq.aliyun.com/articles/641394在conf/catalina.properties中最后添加2行：tomcat.util.http.parser.HttpParser.requestTargetAllow=|{}org.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true ...

原创 js获取表格当前行下拉框的值

jsp代码&lt;td&gt;&lt;B&gt;&lt;input type="button" class="btn"  value="保存"/&gt;&lt;/B&gt;&lt;/td&gt;                    &lt;td id="aipictureId" &gt;${aipicture.id}&lt

原创 @ModelAttribute 属性需要注意的

@ModelAttribute("XXXXXXXX") XXXXX要和bean名一致 并驼峰命名

原创 libwebp运行报/lib64/libc.so.6: version `GLIBC_2.14' not found

由于libwebp库需要依赖glibc的libc.so.6库，需要2.14版本以上，由于升级glibc库代价比较高，可所以建议编译安装，步骤如下1、新建目录/usr/local/libwebp2、查看是否安装了libtool工具     rpm -qa | grep libtool     如果没有安装的话，先运行yum -y install automake libtool ...

原创 redirect重定向的url中的中文乱码问题

通过url传参之前            searchParamsStr = java.net.URLEncoder.encode(searchParamsStr,"UTF-8");