- 博客(101)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 ogg 进程
ogg一般来说有4个进程，Manager进程，Extract进程，Pump进程，Replicat进程Manager进程：是GoldenGate的控制进程，它主要作用有以下几个方面：启动、监控、重启GoldenGate的其他进程，报告错误及时间，分配数据存储空间，发布阀值报告等。Extract进程：运行在数据库源端，负责从源端数据表或日志中捕获数据。Extract进程...
2018-07-11 18:03:12
704
原创 oracle
ogg命令总结整理stats：查看进程抽取数据情况，用于检测数据丢失问题。info *：用于检测进程读取文件情况信息。info all：查看所有增量抽取进程以及增量推送进程info all,task：用于查看全量抽取进程stop *：停止进程stop *!：强行停止进程kill：杀掉无法停止的进程start *：启动进程 ( extract 、 replicat...
2018-07-11 14:21:17
307
原创 linux 系统监控
https://blog.youkuaiyun.com/defonds/article/details/52385360https://blog.youkuaiyun.com/ywheel1989/article/details/66685472
2018-06-29 19:50:42
192
原创 python 知识
一、python的库多有TensorFlow,Theano,scikit-learn,Cognitive Toolkit, Keras二、数据存储方便有sql,hadoop,mangodb,redis,spark三、数据获取方便有Scrapy,beautifulsoup,requests,paramiko四、数据运算方便有pandas，Numpy，scipy四、输出结果方便...
2018-04-26 10:31:13
145
原创 spotlinht and netdata
https://blog.youkuaiyun.com/defonds/article/details/52385360https://blog.youkuaiyun.com/ywheel1989/article/details/66685472
2018-04-26 10:19:14
175
原创 openstack 安装
https://blog.youkuaiyun.com/qq_20154221/article/details/51543867https://blog.youkuaiyun.com/qq_20154221/article/details/51906866
2018-04-12 14:13:30
193
原创 sparkstreaming值windos
http://blog.youkuaiyun.com/luoyexuge/article/details/53634997
2018-03-29 10:42:08
161
原创 TensorFlow运行中常用到一些Python第三方模块
TensorFlow运行中常用到一些Python第三方模块：numpy 存储和处理大型矩阵的科学计算包maplotlib 最著名的绘图库jupyterscikit-image 图像预处理librosa 音频特征提取的第三方库nltk 包含着大量的语料库，方便完成自然语言处理的任务，包含分词、词性标注、命名实体识别（NER）及句法分析kerastflearnm...
2018-02-04 11:35:04
250
原创 tensorflow 初学者
http://blog.youkuaiyun.com/soulmeetliang/article/details/75666675知乎初学者:https://www.zhihu.com/question/37180159作者：倪飞翔链接：https://www.zhihu.com/question/37180159/answer/96682815来源：知乎著作权归作者所有。商业转载...
2018-02-04 10:33:21
180
原创 Apache Ignite
Apache Ignite - 轉Ignite Docs Online:ignite-doc-cnhttps://dongwq.gitbooks.io/ignite-doc/content/index.html-Apache Ignite 初探http://www.infoq.com/cn/articles/apache-ignite-explorer-...
2018-01-10 17:11:09
323
原创 基于用户的协同过滤和皮尔逊相关系数
http://blog.youkuaiyun.com/pi9nc/article/details/9328823
2018-01-08 15:10:52
237
原创 ice之icestorm 消息发布订阅
http://blog.youkuaiyun.com/kaede999/article/details/23336291
2018-01-05 09:37:48
1045
原创 协同过滤
什么是协同过滤 协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。 协同过滤一般是...
2018-01-02 15:52:44
142
原创 ICE简单介绍及使用示例
1、ICE是什么？ ICE是ZEROC的开源通信协议产品，它的全称是：The Internet Communications Engine，翻译为中文是互联网通信引擎，是一个面向对象的中间件，使我们能够以最小的代价构建分布式应用程序。ICE使我们专注于应用逻辑的开发，它来处理所有底层的网络接口编程，这样我们就不用去考虑这样的细节：打开网络连接、网络数据传输的序列化与反序列化、连接失败的尝试次数...
2018-01-02 14:38:45
292
原创 Kafka 如何读取offset topic内容 (__consumer_offsets)
https://www.cnblogs.com/huxi2b/p/6061110.html
2017-12-29 13:17:24
250
原创 Spark 以及 spark streaming 核心原理及实践
https://www.cnblogs.com/liuliliuli2017/p/6809094.html
2017-12-25 15:10:35
132
原创 增加spark 并行度方式
1 Spark Streaming增大任务并发度Q： 在Spark Streaming中，增大任务并发度的方法有哪些？A：s1 core的个数: task线程数，也就是--executor-cores s2 repartition s3 Streaming + Kafka，Direct方式，则增加partition分区数 s4 Streaming ...
2017-12-09 09:45:43
704
原创 NOSQL
曾在多家大公司任职的软件架构师兼顾问Kristóf Kovács在博客中对主流的NoSQL数据库（Cassandra、Mongodb、CouchDB、Redis、Riak、Membase、Neo4j以及HBase）进行了全方位的对比。虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能适应需求的情况不胜枚举。...
2017-02-07 10:16:15
107
原创 zookeeper读写操作
http://blog.youkuaiyun.com/liuyuehu/article/details/52136945
2017-01-04 15:41:33
323
原创 zookeeper读写操作
http://blog.youkuaiyun.com/liuyuehu/article/details/52136945
2017-01-04 15:41:32
341
原创 Hbase实战之WEB项目关闭异常及解决方法
异常主要内容有两点（完整异常信息参加文章结尾）：◾内存问题thread named [main-SendThread(hadoop1:2181)] but has failed to stop it. This is very likely to create a memory leak。◾加载问题java.lang.NoClassDefFoundError: org/ap...
2016-11-15 09:32:08
200
原创 构建高可用ZooKeeper集群
http://www.linuxidc.com/Linux/2015-02/114230.htmhttp://www.wtoutiao.com/p/20fn3DY.html
2016-11-02 14:23:00
174
原创 solr教程，值得刚接触搜索开发人员一看
http://blog.youkuaiyun.com/awj3584/article/details/16963525http://www.cnblogs.com/hoojo/archive/2011/10/21/2220431.html1. Solr 是什么？Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。Solr 提供了层面搜索(...
2016-10-14 10:31:39
116
原创 hbase 调优
http://www.360doc.com/content/14/0919/10/17130779_410636988.shtml
2016-10-11 16:16:16
129
原创 kafka和flume的对比
摘要： （1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用hdfs做。 （2...
2016-09-19 15:54:16
370
原创 大数据行业人士必知10大数据思维原理
大数据思维原理是什么?简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。 一、数据核心原理 从“流程”核心转变为“数据”核心 大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维—...
2016-08-09 09:18:00
354
原创 hbase与hive的区别
1、hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。2、hive是面向行存储的数据库。3、Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。4、HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表5、hbase不是关系型数据库，...
2016-07-12 15:30:47
128
原创 多线程
public class ThreadDemo3 { public static void main(String[] args){ Ticket t =new Ticket(); Thread t1 = new Thread(t,"窗口一"); Thread t2 = new Thread(t,"窗口二"); Th...
2015-11-11 16:05:54
127
原创 java注解
Java自定义注解小结作者：谢伟伦学习java有两年之余了，在很久之前，已经有位系统分析师告诉我，学习java，看java编程思想就够了。其言下之意，就是说，任何一切java框架，都是浮云，只有精通核心java，才是王道！现在回想起来，这句话真的十分正确，一年多的工作，都只徘徊于学习java框架，造成自己是一个只会使用，不能原理的人。趁着现在工作不忙，静下心来，好好学习一下核心ja...
2015-10-26 11:18:50
110
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人