- 博客(44)
- 收藏
- 关注
RSS订阅转载 PM2速查表
基础操作安装pm2yarn global add pm2pm2 install pm2-logrotate #可选，日志需要做轮转就要安装，配置方式参考https://github.com/keymetrics/pm2-logrotatepm2 completion install...
2018-07-07 12:12:00
242
转载 LogStash6.3——新Java执行引擎概览与简单评测
LogStash新的Java执行引擎已经进入了待发布阶段了。他的主要特性有：更少的内存使用更高的性能更少的启动配置信息更快的配置重载时间现在可以在LogStash6.3.0 版本使用 --experimental-java-execution 来尝鲜。下面是性能测试的对比，来看...
2018-06-23 14:47:00
267
转载 Keras实践笔记11——使用简易深度神经网络识别EnglishFnt数据集
有了前面的积累，我们可以开始用一些实际的例子结合着Keras提供的Example进行学习了，后续的例子会使用EnglishFnt这个印刷体数据集进行训练和识别，这个数据集里面存放了从0-9的数字和A-Z的英文字符。比起手写字符集MNIST，EnglishFnt长得还是很中规中矩的。为了...
2018-06-14 23:17:00
445
转载 Keras实践笔记10——使用ImageDataGenerator进行图像增广
from __future__ import print_functionimport kerasfrom keras.datasets import cifar10from keras.layers import Conv2D, MaxPooling2Dfrom keras.lay...
2018-06-09 23:20:00
617
转载 Keras实践笔记8——使用TensorBoard查看训练过程
import matplotlib.pyplot as pltimport numpy as npfrom keras import Sequentialfrom keras.callbacks import TensorBoardfrom keras.layers import De...
2018-06-09 23:19:00
1486
转载 Keras实践笔记9——模型的保存与恢复
import numpy as npfrom keras import Sequentialfrom keras.callbacks import TensorBoardfrom keras.layers import Densefrom keras.models import loa...
2018-06-09 23:19:00
170
转载 Keras实践笔记7——简易长短记忆网络LSTM
from keras.datasets import mnistfrom keras.layers import LSTM, Densefrom keras.models import Sequentialfrom keras.utils import np_utils(X_trai...
2018-06-09 23:17:00
170
转载 Keras实践笔记6——单层自编码器
import numpy as npfrom keras.datasets import mnistfrom keras.layers import Dense, Inputfrom keras.models import Modelimg_rows, img_cols = 28, ...
2018-06-09 23:16:00
446
转载 Keras实践笔记4——深度多层感知模型
from keras.datasets import mnistfrom keras.layers import Dense, Dropoutfrom keras.models import Sequentialfrom keras.optimizers import RMSpropf...
2018-06-09 23:15:00
113
转载 Keras实践笔记5——卷积深度神经网络
from keras.datasets import mnistfrom keras.layers import Dense, Flatten, Conv2D, MaxPooling2D, Dropoutfrom keras.models import Sequentialfrom ke...
2018-06-09 23:15:00
206
转载 Keras实践笔记3——全连接层基础
from keras.models import Sequentialfrom keras.layers import Dense, initializersfrom keras.optimizers import SGDfrom keras.datasets import mnist...
2018-06-09 23:14:00
2094
转载 Keras实践笔记2——logistics回归
from keras.models import Sequentialfrom keras.layers import Densefrom keras.datasets import mnistfrom keras.utils import np_utils(X_train, y_t...
2018-06-09 23:12:00
575
转载 Keras实践笔记1——线性回归
import matplotlib.pyplot as pltimport numpy as npfrom keras import Sequentialfrom keras.layers import Densex = np.linspace(-10, 10, 300)y = 3...
2018-06-09 23:07:00
202
转载 Django:系统检查框架
系统检查框架使一系列静态检测和校验的方法，用来在Django项目启动的时候判断是否有异常的。它一般用于识别出问题并且提示如何解决这个问题。检测函数可以在check 方法中触发，在使用runserver和migrate的时候也会被触发。不过出于性能上的考虑，checks不会在WSGI中被触发，...
2017-08-12 15:09:00
289
转载 Django:消息提示框架
启用消息提示框架PyCharm创建的都配置好了，不用自己配置安装django.contrib.messages应用MIDDLEWARE中添加django.contrib.sessions.middleware.SessionMiddleware和django.contrib.mes...
2017-08-06 15:24:00
765
转载 ANTLR:Attributes与Actions
Attributes与Actions采用Listener或者Visitor的方式，回调都是在解析完成之后才被执行的，有些时候，我们需要在解析的过程中执行一些动作，这个动作称为Action。使用Action的理由有三个减少Listener里面的代码量，让Listener更加简洁高效，一边...
2017-08-06 15:23:00
232
转载 ANTLR:学习一些完整的语法
学习一些完整的语法CSVgrammar CSV;file : hdr row+ ;hdr : row ;row : field (',' field)* '\r'? '\n' ;field : TEXT | STRING | ;TE...
2017-08-06 15:22:00
378
转载 ANTLR:异常报告和恢复
异常报告和恢复重定向错误信息默认情况下，ANTLR输出异常采用的是标准输出，不过我们可以通过实现ANTLRErrorListener来达到修改输出异常位置的目的import org.antlr.v4.runtime.*;import org.antlr.v4.runtime.misc....
2017-08-06 15:22:00
1969
转载 ANTLR:设计语法
设计语法语法中常用的模式SequenceUSER parrtPASS secretRETR 1一般顺序语法里面，还会有Key-Value的形式retr : 'RETR' INT '\n' ; // match keyword integer newline sequence...
2017-08-06 15:21:00
95
转载 ANTLR:多语法支持
多语法支持有两个主要的应用场景同一种语言，不同版本语法解析起来不太一样，例如SQL，SQL有不同的版本同一种语法内，根据上下文的情况，同样的词法表达的语义不一样多版本语法示例这个示例里面有个关键的parser，定义了java5，而地下的enumDecl里面会判断是否是java5版...
2017-08-06 15:21:00
230
转载 ANTLR:采用特定的方式解耦
采用特定的方式解耦语法树解析出来后，还需要进行动作执行，而执行动作的这个过程，则是Listener去干的Listener和Visitor模式原始语法grammar PropertyFile;file : {«start file»} prop+ {«finish file»} ;p...
2017-08-06 15:20:00
225
转载 ANTLR:初识ANTLR
ANTLR提供的功能词法语法解析及映射结构化文档生成引擎（例如代码生成器）一个最简单的示例语法文件grammar Hello;r : 'hello' ID ;ID : [a-z]+ ;WS : [ \t\r\n]+ -> skip ; // skip spaces, ...
2017-08-06 15:20:00
77
转载 Spark入门：Spark Streaming 概览
概览Spark Streaming是Spark API的一个可横向扩容，高吞吐量，容错的实时数据流处理引擎，Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据，然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。计算完后的数...
2017-08-06 15:18:00
95
转载 阿里云Maven镜像
<mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.a...
2017-08-06 13:34:00
103
转载 ElasticSearch:桶过滤聚合(Bucket Selector Aggregation)
这个聚合使用于做分桶后的过滤的，父聚合传下来的参数需要为数值型，聚合中的script需要返回一个布尔型的结果语法{ "bucket_selector": { "buckets_path": { "my_var1": "the_sum", ...
2017-05-30 13:01:00
5189
转载 ElasticSearch:时序差分聚合(Serial Differencing Aggregation)
时序差分聚合的公式为f(x) = f(xt) - f(xt-n),也就是用当前点减去上一个周期的对应点，然后得出一个新的时序图，周期为1相当于不对时间做归一化求导，它表示一个点到下一个点的变化。单周期差分聚合对移除常量和线性趋势是很有用的。单周期对于把序列转换为固定序列也是十分有用的，例如下...
2017-05-26 11:41:00
620
转载 Tensorflow——快速入门
假设已经安装好TensorFlow了，具体怎么装，参考TensorFlow的官方文档TensorTensorFlow的核心就是tensor，也就是张量 先来看看tensor的概念,官方文档的几个示例如下3 # 0阶的张量，是一个标量，shape为[][1. ,2., 3.] # 1...
2017-03-16 21:26:00
89
转载 React-Router与Tomcat
当前端用React-Router做路由的时候，打包出来的静态文件丢到Tomcat里面是可以直接访问的，但是当我们刷新一下浏览器，或者打开一个不存在的页面的时候，就会发现前端界面鬼畜了。。。。今天看了一下react-router的路由方式，想了想，刷新的时候，咦，不就是找不到url上面指定的页...
2017-02-21 12:52:00
192
转载 ElasticSearch 索引性能调优
#使用bulk使用Bulk代替单文档索引，为了知道究竟多大的bulk请求性能最好，你可以用单节点单分片来跑基准测试，100、200不断的往上加，由于一次塞太多的数据给ES索引会给它造成比较大的内存压力，所以。。自己看着办，差不多就好了#使用多线程技术发送数据单线程的bulk往往达不到ES...
2017-01-30 20:30:00
134
转载 ElasticSearch 搜索性能调优
#提供更多的内存给文件系统缓存ES的查询速度非常依赖于文件系统缓存，一般情况下，你应该确保分配一半的系统内存给ES，这样它能够把热数据都放到内存里面#使用更快的硬件如果你的查询是高I/O的话，你应该给更多的内存用以缓存或者买更好的设备，SSD是一个非常不错的选择，尽量使用本地文件系统而不...
2017-01-26 22:40:00
117
转载 ElasticSearch磁盘率使用调优
#关闭你不需要使用的特性默认情况下ES会为大多数字段进行索引并且添加doc，这样能够在查询和聚合的时候更快，例如你有一个数值型的字段叫做foo，你需要用这个字段来做柱状图，但是你不会使用它进行过滤，你可以关闭掉这个字段的索引PUT index{ "mappings": { "...
2017-01-24 22:12:00
721
转载 ElasticSearch5.X的冷热数据架构
原文出处:https://www.elastic.co/blog/hot-warm-architecture-in-elasticsearch-5-x当使用ElasticSearch做大规模的时序数据分析的时候，我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构（Maste...
2017-01-17 18:24:00
190
转载 ElasticSearch可扩展的开源弹性搜索解决方案
这本书写的一版本。和官方手册差不多=。=，没意思#搜索数据##查询###partial_fields可以指定返回哪些字段###script_fields执行脚本产生对应的值###搜索类型####query_and_fetch最快最简单的搜索类型，查询语句在所有分片上执行，...
2017-01-16 15:01:00
342
转载 混淆视听：用Golang来保护Java程序
以下的内容实验环境中通过，代码并未开源，只聊聊思路#反编译带来的困扰对于一个开发给自己组织内部用的程序，我们是不怎么需要考虑程序被反编译的事情的，但是对于商业软件来说，这又显得有必要，毕竟国内软件行业的竞争还是非常的激烈，大家可以把竞争对手的程序搞过来反编译一下(至于怎么拿别人的程序我...
2017-01-10 17:53:00
406
转载 使用django-mama-cas快速搭建CAS服务
当公司有多条产品线，或者有多个不同的应用的时候，每次都做登录是个非常烦人的事情。（原谅我没有从SSO的角度看这个问题。。对我来说能偷懒少写点东西最实在）。为什么需要每次都做个登录？做登录就意味着我的系统还得要有用户、角色、菜单管理，天啊！RBAC又来了（摊手）。 当我新做一个应用的时候，我最...
2016-11-27 20:53:00
445
转载 PacketBeat奇妙的OOM小记
Beats这个项目的确很好用，几行命令下来，一个成型的Agent就出来了。使用者只需要关注采集什么数据就好，后续的事情libbeat基本都处理完了。不过值得吐槽的是，Beat太散了，管理起来东一个西一个的，产品化的时候对客户说，我们要在机器上放n个Agent不知道客户会是什么样的表情不过轻...
2016-11-06 17:14:00
102
转载 DockBeat:Beats家族的一个新成员
你想了解你的Docker容器里面都发生了些什么事情么？你有没想过使用一个合适的Beat去读取Docker的指标然后把这些信息都存放到ElasticSearch？那么Dockbeat这个方案可能挺适合你的。为了能使得资源被最大化的利用，我们会把应用部署到基于Docker的大数据基础设施里面。到...
2016-11-06 16:31:00
188
转载 你真的了解Grok吗
在日志处理的过程中，有一项非常常见的任务就是把原始的单行日志转换成结构化的日志。如果你使用了ELK，那么你可以利用ES对数据进行聚合，使用Kibana来进行数据可视化从日志中来发现一些有价值的信息。在LogStash中，这项工作是由logstash-filter-grok来完成的，它有超过2...
2016-11-05 18:22:00
399
转载 ヽ(･ω･｡)ﾉ有没这样一个日志管理系统？
最早接触的日志管理应用是ELK，当时忽悠君坐在我对面成天喊要招个ES的大牛，一会林大师又在旁边写着各种正则式。还搞不清楚状况的我就开始改KIBANA，给KIBANA换个皮。无奈KIBANA实在太不好改了，时间也不是特别充裕，好吧，从头写一个还快，虽然效果不太好。具体那玩意是做什么的，当时...
2016-04-05 15:51:00
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人