- 博客(66)
- 收藏
- 关注
RSS订阅原创 CSS 微信聊天界面
CSS不大会写，记录一下。<template> <div> <ul style="list-style-type:none;"> <li class="xw-servicer-avantar-wrap"> <img src="@/assets/logo.jpg" class="xw-servicer-avantar"/...
2019-04-20 22:34:22
1908
原创 为学与为人
四十多年前, 母校电机系主任章明涛教授在一次会上对我们讲过这样一段话 "你们来到清华，既要学会怎么为学，更要学会怎样为人。青年人首先要学为人，然后才是学而为学。为人不好， 为学再好，也可能成为害群之马，学为人，首先是当一个有骨气的中国人。"...
2019-04-12 22:56:42
672
原创 Vue中websocket编程
最近一直在尝试着VUE中使用websocket连接，尝试了很多次终于满足我的要求<template> <mu-row> <mu-button @click="click">test</mu-button> <mu-button @click="click1">test1</mu-button> </mu-r...
2019-04-11 22:08:40
1119
原创 基于vue的移动框架
最近在写一些web的东西，我一直使用的是vue-cli, 看了很多 基于vue的移动端框架，有vonic, vant, minit-ui, muse-ui,vux我试来试去，我还是觉得muse-ui挺合适的， 但是muse-ui 使用的是material icons,vue-cli 中配置material1. npm install material-design-icons2....
2019-04-09 21:02:48
797
原创 grpc环境介绍
grpc是一种远程调用它的底层依靠: 1. Protocolbuffer协议传输信息的. 优点: 可以使用不同的语言通讯。 2. 采用HTTP/2 协议 . 优点: 多路复用，头信息压缩， 支持服务器主动推送， 可以划分优先级Golang环境下，安装grpc环境: 1. 安装protocolbuffer 版本3以上...
2019-04-05 14:04:37
444
原创 Python上下文管理
class Context: def __init__(self, name): self.name = name def __enter__(self): return self def __exit__(self, exc_type, exc_val, exc_tb): print exc_type ...
2019-04-02 23:24:44
271
原创 BadgerDb 快速存储的，固化的数据库
BadgerDB是以key value形式存放在硬盘上，官网拿自己跟facebook的Rocksdb 做对比，说自己支持SSD，Rocksdb不支持。对于存储固然少不了 Add，delete, update , Search从BadgerDB编程来说 1. 打开数据库， 需要设在数据存放路径 2. 操作 -- Add, De...
2019-04-02 06:33:02
4759
原创 一致性散列库consistent
一致性散列库：go get stathat.com/c/consistent创建:cons := consistent.New() cons.Add("CacheA") cons.Add("CacheB") cons.Add("CacheC") cons.Add("cacheX")测试1:server, err := cons.Get("user_8913823...
2019-03-24 12:41:09
363
原创 gossip协议
gossip协议用于分布式中consul就是使用gossip协议，gossip协议是流行病协议，流行病: 一 传十， 十传百，就这样所有人都感染了。gossip也是这样 1. 网络中某个节点随机选择k个节点 (k个节点都是没传染的节点) 散播消息 2. k个节点接着传下去最终消息传遍了整个集群，这里只是简单的介绍，其实gossip...
2019-03-24 12:24:37
731
原创 kmeans 算法
其实Kmeans在机器学习中是一种无监督学习算法，整个算法很好理解， 算法第一步: 在数据集中随机选择K个质点作为质心， 第二步： 计算整个数据集中每个元素到K个质心的距离，选择最近的质心，将该元素划分到该 质心 第三步: 经过第二步计算，每个质心都有一个集合，重新计算质心:计算每个集合的均值。 ...
2019-03-24 11:25:58
464
原创 FP-growth算法的理解
FP-growth是发现繁集项的一种算法，说到它大家都在把它与Apriori算法做比较，得出来的是FP-growth算法发现繁集项更快，Apriori中有两个概念: 1. 支持度: 某一事物占所有事物的比例 2. 置信度： 类似条件概率，A ==> B 的置信度 支持度{A,B}/支持度{A}FP-growth比Ap...
2019-03-19 18:30:57
1094
原创 cifar10 部分代码解释
代码: /tensorflow_models/tensorflow_models/tutorials/image/cifar10CIFAR10数据集介绍: CIFAR10 图片: 32x32x3 lable: 0~9 所以CIFAR10一条数据大小: 32*32*3+1 CIFAR10包...
2019-03-17 21:31:34
356
原创 tensorflow Ps-Worker架构
今天写一些tensorflow分布式训练Ps-worker架构，PS : 执行模型相关的作业，包括模型参数存储，分发，汇总，更新Worker: 执行训练相关的作业，包括推理计算和梯度计算。Ps-worker 架构分布式模型的流程: 1. pull :各个worker根据数据流图的拓扑结构，从PS拉取最新的模型参数 2. feed: 各wo...
2019-03-17 21:10:58
10709
2
原创 python 中显示进度的方式
1. command line显示进度，可以使用 tqdm模块,它其实就是个迭代器。2. 下载文件时显示进度:import sysimport osfrom six.moves import urllibDATA_URL = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'name = os.path....
2019-03-16 21:47:52
1378
原创 PCA算法理解
其实PCA算法与SVD算法目标是一致的，就是简化数据，去噪，PCA有个缺点，可能会缺少重要信息。PCA有一个核心思想: 方差最大的方向表示数据中最重要的信息。所以PCA算法是在原数据上从新建立一个坐标，新坐标是按照方差最大的方向上建立。程序上是 1. 需要数据归一化 2. 计算协方差 3. 计算协方差的特征值和特征向量（新的坐标轴）...
2019-03-16 13:53:45
527
原创 菜品推荐系统
推荐系统可能有很多种算法，这里简单概述一下推荐系统的过程,数据如下:列是菜品横是用户中间是用户对菜品的评分，模拟给用户U1推荐菜品，推荐一个菜品（用户没有吃过的）1. 给用户推荐的肯定是客户没有吃过的菜品: 可以给客户U1推荐 F6, F7 菜品，2. 根据U1的历史数据,以及其它客户数据给F6,F7评分 对F6评分: ...
2019-03-16 09:43:32
7016
2
原创 SVD算法理解
SVD是一种强大的降维工具，同时也用于去噪，或图片压缩，本质上SVD是使用奇异值分解，这是矩阵中的一种解法。SVD算法将原始数据Data， 分解为 UVT即: 维度 DATA : (m, n) U: (m, m) 其实U是一个正交...
2019-03-15 23:21:20
7866
原创 golang中的select和switch
golang中的switch 与select结构上有些相似。下面是switch 对类型的判断，输出不同的值，我觉得它安顺序执行的var b interface{}b = "string"switch b.(type) { case string: fmt.Println("get string") case int: fmt.Println("get int") def...
2019-03-14 23:30:30
1682
原创 golang中的并发竞争态
golang程序中并发会引起并发竞争，一起没理解，为什么说两个goroutine访问共享资源会引发竞争态，我的理解如果只使用一个逻辑处理器本质上不就是同一时间只有一个goroutine在跑吗，为什么会引发竞争态呢，做了如下实验，确实存在竞争态package mainimport ( "fmt" "runtime" "sync" // "sync/atomic")var (...
2019-03-10 23:02:24
471
原创 golang 中的并发和并行
并发与并行: 并发是 指同时管理很多事情，很多事物同时对同一数据进行操作。 并行是 同时做很多事情，让不同的代码片段同时在不同的处理器上执行.goroutine运行过程： 1. golang运行时默认会为每个可用的物理处理器分配一个逻辑处理器，每个逻辑处理器都会绑定单个操作系统线程。 创建一个goroutine -------> 加入到全局...
2019-03-10 21:22:38
496
原创 灰色关联分析
灰色关联分析是灰色理论中的一种运用。灰色理论认为系统的行为现象是朦胧的，数据是复杂的。灰色理论建立的是生成数据的模型，不是原始数据模型。所谓灰色系统是介于白色系统和黑箱系统之间的过渡系统。原始数据:整理成数据:data =[ [102.4, 102.8, 103.1, 102.9, 103.3, 103.5, 103.6, 104.4, 105.1, 1...
2019-03-04 23:22:17
9722
原创 etcd集群搭建
etcd是一种以key-value形式的分布式存储。etcd配置: name etcd1 名称各个节点都是唯一的 client 配置: listen-client-urls http://127.0.0.1:2379 监听client advertise-client-urls http://127.0....
2019-03-04 07:26:26
297
1
原创 分布式Raft算法
Raft算法是强一致性的一种算法，算法分大体分为 Leader选举 和 log ReplicationRaft算法中节点有3中状态: Follower Candidate LeaderRaft中的超时时间是在150ms ～ 300ms的随机数Leader选举(3个节点为例,): 1. 开始所有的node都是Follwer状态 ...
2019-03-04 06:58:49
309
原创 git上传大文件到github
git上传大文件,是借助lfs，但是这个大文件也不是无限大的，lfs的上线: 单个文件2G一下1. install git-lfs :curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bashyum install -y git-lfs2. 上传大文...
2019-02-26 14:47:56
676
原创 golang Beego 学习
官方网站: https://beego.me/docs/advantage/docs.md安装: go get github.com/astaxie/beegogo get github.com/beego/bee 使用工具bee构建项目bee new myproductbeego是一个MVC架构， M ...
2019-02-25 22:23:11
452
原创 golang命令行执行多个道管命令如ls -l|wc -l
使用的exec包函数: exec.Command执行单个命令 ls -l ，exec.Command很容易执行，但是需要执行ls -l|wc -l 这样的命令要怎么编写golang中,需要执行两个命令ls -l 和 wc -l 但是这两个命令是有关系的,只要定义好两个命令的输入输出，就可以完成.1. 定义两个命令行:var commands []*exec.Cmd...
2019-02-25 21:39:32
4804
原创 Spark编程基础 --pyspark
以前记录的一些笔记，有点懒直接copy了spark: rdd: resilient distributed dataset spark由一个sparkContext发启，由各个work节点的执行器执行的并行计算task. 核心是RDD 将数据转换成RDD 1. parallelize， 序列化...
2019-02-25 17:56:03
1302
原创 redis基本操作
redis针对key值的一下操作:1. 删除key --- DEL 'mykey' 2. 序列化给定的key ---- DUMP 'ke'3. 判断给定的key是否存在 --- EXISTS 'key'4. 给一个key设定过期时间 --- EXPIR...
2019-02-25 17:36:05
4418
原创 Scala编程基础--traint和匹配
traint相当于定义了一个接口例如:trait Equal { def isEqual(x:Any) :Boolean def isNotEqual(x:Any) :Boolean = !isEqual(x)}接口 子类中必须重写（不需要使用关键字override）class Point(xc:Int, yc:Int) extends Equal{ var x: ...
2019-02-25 17:06:18
1299
原创 Scala -- 访问修饰符
Scala 访问修饰符有3种public ,protected, private 与Java类似private 修饰符, 表示该属性或方法对外不可见(实例不可调用)，只能在本类中调用protected修饰符，表示该函数只能在派生类中调用public 默认修饰符，对外可见。现在主要看的是private等可以代参数，可以带this，或者其它的package ，或其他的classp...
2019-02-20 23:59:35
398
原创 Scala 编程基础 -- 类以及类的继承
Scala 类的继承特点: 1. Scala 是单继承 2. Scala 子类重写父类的非抽象方法，属性必须使用override 关键字 3. Scala 继承关键字extends看一个例子:class Point(val xc: Int, val yc: Int) { var x: Int = xc var y: Int = yc ...
2019-02-20 22:59:37
398
原创 Scala -- 基础集合笔记
记录一下，Scala集合:List Map Set Iterator Option[T] List: 是一个不可变的列表，列表都有相同的数据类型#创建空列表 val empty: List[Nothing] = List() 或者 val empty = Nil#创建二维列表: val dim: List[List[Int]] = List(List(1,2,3,4)...
2019-02-20 21:08:11
155
原创 Golang连接Ldap
今天在这里写一些Golang怎么连接ldapgolang的ldap包有一些，我使用的是go get -u "gopkg.in/ldap.v2"我的ldap环境: rootdn: uid=admin,dc=wjq,dc=com password: openldapdn: dc=wjq,dc=comdc: wjqobjectClass: topobjectC...
2019-02-20 18:22:15
10044
原创 Scala编程语言-基础笔记
实在没办法我喜欢Spark的RDD思想，所以才学习Scala语言的，这里就当做笔记了.Scala支持的数据类型:String Char Boolean Unit Long Int Short Double Null AnyRefScala命名:1. 类名 -- 首字母大写(多个单词也是首字母大写)class SimpleApp{}2. 函数方法 -- ...
2019-02-18 15:15:55
6999
1
原创 LSF与Spark结合部署
IBM LSF 是一个工作负载管理平台，它基于策略管理分布式的系统资源。Spark 是一个基于内存的并行计算框架,计算能力比较强。Spark 与 LSF结合起来，我觉得是一个不错的结合。详细原理参考： https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-spark-ibm-lsf-integration/index...
2019-02-17 11:01:30
1010
原创 hprose 介绍
hprose 是 High-Performance Remote Object Service Engine 的简称(高性能远程对象服务引擎库)。 它是以RPC的方式对外提供服务的,hprose可以做到跨语言:场景(可以实现): 1. 使用python 编写hprose server端 2. 使用golang编写hprose client端hp...
2019-02-15 10:37:43
5274
1
原创 kaldi安装
kaldi 依赖于python3 (自己安装好)git clone https://github.com/kaldi-asr/kaldicd kaldi/tools/extras./check_dependencies.sh#缺少包会提示，自己安装一下cd ../makecd ../src./configuremake depend makemake install...
2019-02-05 13:00:28
2563
原创 golang变量存储的问题
package maindef main(){ a := []int{1,2,3} for _, data := range a { data = 4 } }这里为什么data赋值无效,golang变量存储类似于C,data是变量地址，遍历a每个元素 data存放的a中元素的副本 ...
2019-02-02 18:06:57
908
原创 Python 变量存储
a = [1, 2, 3]for i in a: i = 4print adef change(a): a[0] = 110print a以上两部分分别对a进行了处理,结果却不同,a对象:for i in a所以将i重新赋值时只不过是这种情况:change函数:...
2019-02-02 17:45:00
981
原创 Golang 与Python 连接kafka
1. 安装python golang pip install kafka-python git clone https://github.com/edenhill/librdkafka.git cd librdkafka ./configure --prefix=/usr make && make install pro...
2019-01-30 16:00:14
416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人