- 博客(207)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 记一次docker安装失败 /stable/repodata/repomd.xml: [Errno 14] HTTPS Error 404
在Redhat7上安装docker的时候，按官方文档走遇到以下问题：主要错误信息：failure: repodata/repomd.xml from docker-ce-stable: [Errno 256] No more mirrors to try.https://download.docker.com/linux/centos/7Server/x86_64/stable/repodata/repomd.xml: [Errno 14] HTTPS Error 404 - Not Foun
2020-10-09 11:25:08
4544
原创 正则表达式的\Q\E 实现对转义字符的完全匹配
今天写正则表达式的时候遇到了一个问题，我有一个变量，我需要在匹配它的同时在前后做一些正则验证。这个变量中可能会包含正则表达式中的符号比如：. ] \ 之类。有两个方法可以实现正则表达式范围内自动转义：1. 使用\Q \E正则表达式如下：\Q*12\n.3*\E可以匹配上 *12\n.3* 字符串2. 自己写escape方法 private static Pattern SPECIAL_REGEX_CHARS = Pattern.compile("[{}()\\[\.
2020-05-28 16:03:57
3674
原创 Docker入门学习
一些概念：概念 说明 Docker 镜像(Images) Docker 镜像是用于创建 Docker 容器的模板，比如 Ubuntu 系统。 Docker 容器(Container) 容器是Image的运行时实体。 Docker 客户端(Client) Docker 客...
2020-01-15 16:36:30
524
转载 Flink初探-为什么选择Flink
本文主要记录一些关于Flink与storm,spark的区别, 优势, 劣势, 以及为什么这么多公司都转向Flink.What Is Flink一个通俗易懂的概念: Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理.这是对Flink最简单的认识, 也最容易引起疑惑, 它和storm和spark的区别在哪里? storm是基于流计算的, 但是...
2020-01-09 14:13:51
571
转载 CASSANDRA学习笔记 （十二）再复习一下partition
Cassandra 横向扩展（Scale Out），即通过增加集群中节点数量来获得水平扩展的能力，依赖于分区将数据进行切分并分配到各个节点中去。目前，主要的分区方式有两种：范围分区（Range Partition）和哈希分区（Hash Partition）。其中，HBase 使用的范围分区，Cassandra 使用的哈希分区。一致性哈希Cassandra 采用了一致性哈希（Consis...
2019-12-24 10:20:39
1179
转载 CASSANDRA学习笔记 （十一） 集群架构
Cassandra是点对点分布式系统，集群中各节点平等，数据分布于集群中各节点，各节点间每秒交换一次信息。每个节点的commit log捕获写操作来确保数据持久性。数据先被写入memtable-内存中的数据结构，待该结构满后数据被写入SSTable-硬盘中的数据文件。所有的写内容被自动在集群中分区并复制。Cassandra数据库面向行。授权用户可连接至任意数据中心的任意节点，并通过类似SQL的...
2019-12-23 17:35:56
1529
原创 CASSANDRA学习笔记 （十） 从读、写过程看运行机制
上一篇我们有详细说MemTable，SSTable和Commitlog。其实就是数据在写入的时候，会先存在内存里（MemTable），同时会在Commit log里留一条记录，这条记录只是在系统Crash的时候才用来恢复数据的。在内存里堆积的数据足够多时，会把数据合并到磁盘文件里，生成SSTable。所以，如果在读数据的时候，我们要按什么流程来合并这两部分的数据呢？从更宏观看，我们在定义一个数...
2019-12-23 16:54:26
1645
CASSANDRA学习笔记 （九） Cassandra的特性与原理
从之前的介绍中简单上手了Cassandra之后，来看看原理层面的东西，因为我是为了接手项目而学习的Cassandra，所以会从选型角度来揣测一下，为什么我们现在的项目会选择Cassandra而不是其他key-value型数据库。技术选型 技术选型常常是一个非常严谨的过程。由于一个项目通常是由数十位甚至上百位开发人员协同开发的，因此一个精准的技术选型常常能够大幅提高整个项目的开发效率...
2019-12-23 14:13:26
940
转载 kafka 消息队列中点对点与发布订阅区别
背景知识JMS一个在 Java标准化组织（JCP）内开发的标准（代号JSR 914）。2001年6月25日，Java消息服务发布JMS 1.0.2b，2002年3月18日Java消息服务发布 1.1.Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步...
2019-12-19 13:38:20
2399
转载 【转】Kafka原理
买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是 xx 吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这……我在上班呢，可以晚上送过来吗？“。小哥：“晚上可不行哦，晚上我也下班了呢！”。于是两个人僵持了很久…...
2019-12-19 11:40:21
417
原创 边缘计算简单理解
边缘计算，即把一些原来在服务器端做的计算下沉到设备客户端侧。比如说自动驾驶，假如在云端做计算的话，需要在网络中传输大量的信息。要把汽车周围所有传感器、摄像头所采集到的数据，全部上传到服务器端，再进行计算，返回结果。这样对于数据采集需求量大的计算来说，是非常不合算和高延迟的。因而，我们产生了边缘计算这种策略，希望通过把部分算法、逻辑下沉到客户端来解决这个问题。比如说，在汽车上部署...
2019-12-17 16:35:59
1301
1
原创 CASSANDRA学习笔记 （八） 批处理和CRUD
对于常规数据操作语句，我们用例子大致过一下：1. BATCH 批处理，就是一次性执行多条语句。BEGIN BATCH<insert-stmt>/ <update-stmt>/ <delete-stmt>APPLY BATCH2. 创建数据INSERT INTO <tablename>(<column1 name>...
2019-12-13 11:32:46
1018
2
原创 CASSANDRA学习笔记 （七） 索引原理
Cassandra的索引，采用了二级索引这个机制。1. 概要：对于Cassandra来说，一级索引就是Primary Key. 因为查询的时候，可以直接根据Key算出token然后直接获取对应的记录。而二级索引，作为辅助索引就是为了找到一级索引。然后再通过一级索引找到真正的值。2. 实现：Cassandra之中的索引的实现相对MySQL的索引来说就要简单粗暴很多了。他实际上...
2019-12-13 10:21:20
1431
原创 CASSANDRA学习笔记 （六）关于CASSANDRA里的Key
在上一章表相关的内容中，有提到primary key。实际上，CASSANDRA里面有五种key，primary key是其中的一种。所以这里来了解一下，CASSANDRA里的key相关的知识。NoSQL DB的表与数据模型设计跟传统的RDBMS很不一样。最大的一个不同就是反范式。比如提倡数据冗余，使得不至于写出非常复杂的SQL语句。就Cassandra而言，最关键的地方在于Key的设...
2019-12-12 17:39:01
1099
原创 CASSANDRA学习笔记 （五）理解Cassandra的表
先看一个建表语句：cqlsh> USE tutorialspoint;cqlsh:tutorialspoint>; CREATE TABLE emp( emp_id int PRIMARY KEY, emp_name text, emp_city text, emp_sal varint, emp_phone varint );表务必要有...
2019-12-12 16:35:17
1062
原创 CASSANDRA学习笔记 （四） 建一个SpringBoot项目用于练手
在学习完keyspace的创建后，后续的练习都可以同步在命令行和JAVA API中执行。因此，在这里暂停一下，我们建一个项目用于练习操作我们本机搭的这个Cassandra。我目前手头的环境只有一个IntelliJ和一个JDK8，所以需要补充一些内容。1. 安装Spring Boot项目创建的便捷插件：https://blog.youkuaiyun.com/chy555chy/article/...
2019-12-12 15:59:05
790
原创 CASSANDRA学习笔记 （三） 创建keyspace 键空间
cassandra的键空间（keyspace）相当于数据库，我们创建一个键空间即是创建了一个数据库。语句CREATE KEYSPACE <identifier> WITH <properties>CREATE KEYSPACE语句有两个属性：replication和durable_writes。这里我们先学习一下repication的概念：（1）什...
2019-12-11 16:37:51
3446
原创 CASSANDRA学习笔记（二） 使用Cqlsh
cqlsh相当于我们的数据库命令行，我们可以用它做类似的事情。CASSANDRA的cqlsh基于python，所以你需要先装一个python2.7再使用这个命令行工具。使用命令cqlsh启动cqlsh，如下所示。它支持一些shell命令，ddl数据定义命令、dml数据操作指令、dcl数据控制语句，这基本上和我们其他数据库的控制台是类似的。CASSANDRA里的语句被称为cql，...
2019-12-11 15:52:44
1093
原创 CASSANDRA学习笔记 （一） 安装与基本信息了解
它是一个开源的分布式Nosql数据库，可以类比MongoDB。它的特性，用我们项目的同事的话来说，就是：“插入的性能比较高，还有就是分布式可以扩展。但是对于查询不太方便”。先安装一个环境在本机试一试：安装记录： 下载bin版本安装包并解压。 配置环境变量 CASSANDRA_HOME =cd C:\kxm\01_software\apache-cassandra-3...
2019-12-11 15:40:41
539
转载 【机器学习】对于特征离散化，特征交叉，连续特征离散化非常经典的解释
一．互联网广告特征工程博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统，可以看到，其中的logistic regression模型是比较简单而且实用的，其训练方法虽然有多种，但目标是一致的，训练结果对效果的影响是比较大，但是训练方法本身，对效果的影响却不是决定性的，因为训练的是每个特征的权重，权重细微的差别不会引起ctr的巨大变化。在训练方法确定后，对ctr预估起到决
2017-06-21 17:28:21
1723
转载 【机器学习】特征工程七种常用方法
当在做数据挖掘和数据分析时，数据是所有问题的基础，并且会影响整个工程的流程。相比一些复杂的算法，如何灵活的处理好数据经常会取到意想不到的效益。而处理数据不可或缺的需要使用到特征工程。原文链接0 什么是特征工程简单的说，特征工程是能够将数据像艺术一样展现的技术。为什么这么说呢？因为好的特征工程很好的混合了专业领域知识、直觉和基本的数学能力。但是最有效的数据呈现其实并不涉及任何
2017-06-21 17:25:42
5467
原创 【基础】PDB小结
调试，在第一行断点。推荐用这种方式而非在代码中用pdb.set_trace()来断点。因为这样所有的断点都可以删除，在调试时很方便。python -m pdb mysqcript.py>断点设置b 10 #断点设置在本py的第10行b ots.py:20 #断点设置到 ots.py第20行删除断点 b #查看断点编号 cl 2 #
2017-05-22 15:16:46
1090
原创 【神经网络】MCCN（Multi-task Cascaded Convolutional Networks ）人脸识别与特征点检测论文解析
在使用faceNet的时候，看到faceNet官方使用的人脸识别和归一化方法是MCCN（Multi-task Cascaded Convolutional Networks ），看代码貌似是使用三个网络来共同完成人脸识别与面部特征点确定这个多目标工作。就顺便看了一下论文《Joint Face Detection and Alignment usingMulti-task Cascaded Co
2017-05-17 11:38:43
3174
原创 “No Module Named Tkinter”解决
CentOS7安装RCNN的时候遇到的问题。这东西还不好安装，没什么便捷方法：1. 到官网下载tcl和tk http://www.tcl.tk/software/tcltk/download.html2. 安装：cd ~/tcl8.5.11/unix./configure --prefix=/home/cnel711 --exec-prefix=/home/cnel711
2017-04-07 10:34:22
6001
原创 CentOs7下，Caffe环境安装问题解决
准备在CentOS 7 下重新安装Caffe，centos7很不错，基本上官方文档里的：sudo yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-develsudo yum install gflags-devel glog-devel lmdb-devel可以顺
2017-04-06 18:26:15
5979
1
转载 【图像】目标检测现有算法对比与资料收集
Jump to...LeaderboardPapersR-CNNMultiBoxSPP-NetDeepID-NetNoCFast R-CNNDeepBoxMR-CNNFaster R-CNNYOLOAttentionNetDenseBoxSSDInside-Outside Net (ION)G-CNNHyperNetMultiPathNetCRAFTOHEMR-FCNMS-CN
2017-04-05 14:21:40
9206
原创 【TensorFlow】Caffe模型转tensorflow模型并使用模型进行预测
做了一个Caffe模型转tensorflow的实验，把ResNet模型和prototxt转为tensorflow模型和tensorflow代码，挺有意思的。主要参考：https://my.oschina.net/yilian/blog/672135这个开源软件提供了caffe转tensorflow的功能：https://github.com/ethereon/caf
2017-03-27 11:31:01
14738
5
原创 【环境】Caffe安装 'unique_path' is not a member of 'boost::filesystem' 问题解决
环境 CentOS 6.7 cpu版参考https://github.com/BVLC/caffe/issues/3686有人问了类似的issue，官方回答：你去用docker....底下还是有很多人希望在不用docker的情况解决，但官方没有更多回复。心累我还真的尝试用docker了，但是问题很多，失败。最后解决方案：更新boost到最新版本（当前为1.63）
2017-03-16 17:10:04
2678
原创 【神经网络】神经网络可视化工具
t-SNE 方法：在fc7（倒数第一层fc）提取输出，并用欧氏距离远近展示（或聚类）。好的网络可以直观看到同分类的图片聚在一起，几何上易被切割出来。http://cs.stanford.edu/people/karpathy/cnnembed/一个例子：4000*4000（3.2M）Visualizing Activations方法： 1. 逆
2017-03-13 15:57:45
2049
原创 【神经网络】VGG、ResNet、GoogleLeNet、AlexNet等常用网络代码及预训练模型
常用数据集：ImageNet http://www.image-net.org/Microsoft的COCO http://mscoco.org/CIFAR-10和CIFAR-100 https://www.cs.toronto.edu/~kriz/cifar.htmlPASCAL VOC http://host.robots.ox.ac.uk/pascal/VO
2017-03-13 15:35:34
35207
转载 GBDT（MART） 迭代决策树入门教程 | 简介
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
2017-03-06 17:35:24
479
转载 GBDT（MART） 迭代决策树入门教程 | 简介
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
2017-03-06 16:58:11
563
翻译 ［译］CS231n 卷积神经网络对于图像识别的应用－－（一）（CS231n Convolutional Neural Networks for Visual Recognition）
卷积神经网络CNNsConvNets概述用于构建CNN的层卷积层卷积神经网络（CNNs／ConvNets）卷积神经网络与上一章的普通神经网络非常相似：它们由具有可学习的权重和偏差的神经元组成。每个神经元接收一些输入，执行点积并且可选地以非线性跟随它。整个网络仍然表示单个可微分的分数函数：从一端的原始图像像素到另一端的各类别得分。 他们在最后一个（完全连接）层上仍然有一个损失函数（例如SVM /
2017-02-02 20:12:01
6440
原创 【Neo4j】踩坑大会-Neo4J用中文索引
正在用的Neo4j是当前最新版：3.1.0，各种踩坑。说一下如何在Neo4j 3.1.0中使用中文索引。选用了IKAnalyzer做分词器。1. 首先参考文章：https://segmentfault.com/a/1190000005665612里面大致讲了用IKAnalyzer做索引的方式。但并不清晰，实际上，这篇文章的背景是用嵌入式Neo4j，即Neo4j一定要嵌入在你
2017-01-11 17:11:25
7564
原创 【调研】关于Entity Linking（实体链接）的材料收集
1. https://www.microsoft.com/cognitive-services/en-us/entity-linking-intelligence-service微软的实体链接服务（非开源），从demo看很简洁。可惜没有原理概述。2. http://dexter.isti.cnr.it/dexter，一个实体链接框架。（官方的live demo都运行了半天没出结
2016-12-26 15:41:18
6884
1
原创 【日常】Caffe编译"gpu/mxGPUArray.h" Not Found错误解决
使用微软的caffe版本(https://github.com/Microsoft/caffe)时遇到了"gpu/mxGPUArray.h" Not Found问题，排查了一下，发现是我装的matlab版本（2016）太新了，修改CommonSettings.props配置如下： E:\02_software\01_develop\matlab
2016-12-08 14:30:08
8481
3
原创 python实现余弦近似度
方法一：def cos(vector1,vector2): dot_product = 0.0 normA = 0.0 normB = 0.0 for a,b in zip(vector1,vector2): dot_product += a*b normA += a**2 norm
2016-09-13 16:17:57
2784
1
原创 【补课】【概率论】几种分布概述
正态分布：又名高斯分布。若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布，记为N(μ，σ^2)。期望值μ决定了其位置，其标准差σ决定了分布的幅度——中轴线所在的位置横坐标为μ，标准差越大则曲线起伏越平缓（中部没有这么高耸，两侧比较分散）。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布，即N（0，1)。概率密度函数为：正态分布的密度函数的
2016-08-10 17:39:42
10158
转载 【分类】SVM算法学习
本次内容主要讲解什么是支持向量，SVM分类是如何推导的，最小序列SMO算法部分推导。最后给出线性和非线性2分类问题的smo算法matlab实现代码。一、什么是支持向量机(Support Vector Machine)本节内容部分翻译Opencv教程：http://docs.opencv.org/doc/tutorials/ml/introduction_to_svm/int
2016-07-28 17:49:13
1321
Efs(Ext上二次开发,标签形式使用Ext) Demo官方项目实例
2012-04-07
Efs(Ext上二次开发,标签形式使用Ext) API文档
2012-04-07
EfsFrame框架(EXT上二次开发)源代码
2012-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人