<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dandykang的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dandykang</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dandykang]]></copyright><item><title><![CDATA[啊啊]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/52328800</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/52328800</guid><author>dandykang</author><pubDate>Fri, 26 Aug 2016 15:21:03 +0800</pubDate><description><![CDATA[阿萨]]></description><category></category></item><item><title><![CDATA[关于MySQL数据导出导入方法]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/50893832</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/50893832</guid><author>dandykang</author><pubDate>Tue, 15 Mar 2016 09:24:38 +0800</pubDate><description><![CDATA[关于MySQL数据导出导入方法工具mysql 
mysqldump应用举例导出 
导出全库备份到本地的目录 
mysqldump -uUSER−pUSER -pPASSWD -h127.0.0.1 -P3306 –routines –default-character-set=utf8 –lock-all-tables –add-drop-database -A > db.all.sql导出指定库到]]></description><category></category></item><item><title><![CDATA[MySQL数据导出导入的方法]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/50893814</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/50893814</guid><author>dandykang</author><pubDate>Tue, 15 Mar 2016 09:24:24 +0800</pubDate><description><![CDATA[工具

mysql
mysqldump

应用举例

导出


导出全库备份到本地的目录


mysqldump -u$USER -p$PASSWD -h127.0.0.1 -P3306 --routines --default-character-set=utf8 --lock-all-tables --add-drop-database -A > db.all.sql]]></description><category></category></item><item><title><![CDATA[java操作Hbase--增删查]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/50343439</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/50343439</guid><author>dandykang</author><pubDate>Thu, 17 Dec 2015 16:27:46 +0800</pubDate><description><![CDATA[先了解下Hbase的一些术语：
RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。
Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列
Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加
Version Number：类型为Long，默认]]></description><category></category></item><item><title><![CDATA[BasicDataSource\DruidDataSource连接池使用]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/50069707</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/50069707</guid><author>dandykang</author><pubDate>Fri, 27 Nov 2015 14:18:18 +0800</pubDate><description><![CDATA[最近使用这类连接池发现有问题，当链接一个数据库如果数据库端异常或重启，就会出现提示链接数据库异常的信息。
貌似是这个连接池一直是拿着原来的链接去访问数据库的。
  
        name="driverClassName" value="XXXXXX" />  
          
          
          

这就是我之前的一些配置，简单配置以上属性，就可以访问数]]></description><category></category></item><item><title><![CDATA[java对elasticsearch操作]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/49891393</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/49891393</guid><author>dandykang</author><pubDate>Tue, 17 Nov 2015 18:34:45 +0800</pubDate><description><![CDATA[一般情况，java要想操作一个东东，肯定是要建立个实例，然后调用他的API进行，操作。
对于elasticsearch（ES）来说，同样的，下面来记录下过程：
ES是通过一个叫做客户端Client的东西，来操作APi的
1、那么首先就是要建立客户端

 //设置es节点的属性
 Settings settings = ImmutableSettings.settingsBuilder()]]></description><category></category></item><item><title><![CDATA[ThreadPoolExecutor实现原理]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/49867219</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/49867219</guid><author>dandykang</author><pubDate>Mon, 16 Nov 2015 16:09:19 +0800</pubDate><description><![CDATA[ThreadPoolExecutor实现原理

 

线程池还具有提高系统性能的优点，因为创建线程和清除线程的开销比较大。 

有两种不同类型的线程池：一是固定线程数量的线程池；二是可变数量的线程池。 

 

对于固定数量的线程池，可以使用Executors的静态方法 newFixedThreadPool 来创建 ExecutorService；或者利用 newSingleT]]></description><category></category></item><item><title><![CDATA[Tomcat启动报Error listenerStart错误]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/49614541</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/49614541</guid><author>dandykang</author><pubDate>Tue, 03 Nov 2015 12:36:41 +0800</pubDate><description><![CDATA[Tomcat启动报Error listenerStart错误





今天启动Tomcat启动不了，报以下错： 

org.apache.catalina.core.StandardContext startInternal 
SEVERE: Error listenerStart 
org.apache.catalina.core.StandardContext start]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark 命令及程序入口]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/49300037</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/49300037</guid><author>dandykang</author><pubDate>Wed, 21 Oct 2015 09:39:16 +0800</pubDate><description><![CDATA[Spark有几种不同的提交任务的脚本，可参考以下这个文章，写的简洁明了
http://blog.youkuaiyun.com/lovehuangjiaju/article/details/48768371


实际上可以看出spark各种脚本，spark-shell、spark-sql实现方式都是通过调用spark-submit脚本来实现的，而spark-submit又是通过 spark-class脚]]></description><category></category></item><item><title><![CDATA[Cassandra之jdbc-cassandra使用笔记]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/49175089</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/49175089</guid><author>dandykang</author><pubDate>Fri, 16 Oct 2015 10:03:56 +0800</pubDate><description><![CDATA[最近要弄java程序访问cassandra进行读取数据，上网搜索之。。。
之前有过jdbc-mysql的使用，有这样的com.mysql.jdbc.Driver包，想必cassandra也应该有吧。
网上的少数几篇文章有简明的讲解，可参考这位仁兄写的也不错
jdbc链接cassandra
我这边主要记录下具体的过程
我用的是
org.apache.cassandra.cql.jdbc.]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark-Standalone下driver和executor分配]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48525467</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48525467</guid><author>dandykang</author><pubDate>Thu, 17 Sep 2015 18:16:20 +0800</pubDate><description><![CDATA[看了看spark-standalone的资源分配过程，还是记录一下吧，久了回顾一下。


Standalone模式下存在的角色。

Client：客户端进程，负责提交作业到Master。

Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。

Worker：Standalone]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark-Streaming]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48469811</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48469811</guid><author>dandykang</author><pubDate>Tue, 15 Sep 2015 16:47:42 +0800</pubDate><description><![CDATA[spark-streaming源码分析





最近也在看spark-streaming的流程，稍稍整理了下，记录一下。







1、首先来看入口，如果要使用spark-streaming，首先要实例化StreamingContext如ssc，入口点是从ssc.start()开始的。

实例化的同时，也初始化了一些变量/对象，val graph，val pr]]></description><category></category></item><item><title><![CDATA[spark-streaming源码分析]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48464835</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48464835</guid><author>dandykang</author><pubDate>Tue, 15 Sep 2015 11:08:59 +0800</pubDate><description><![CDATA[spark-streaming源码分析





最近也在看spark-streaming的流程，发现了一个比较不错的分析流程，记录一下。

streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大



1、streaming程序是从StreamingContext.start()开始的，做一个必要的参]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark Standalone（环境搭建）]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48369961</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48369961</guid><author>dandykang</author><pubDate>Fri, 11 Sep 2015 11:10:00 +0800</pubDate><description><![CDATA[Spark standalone分为master和worker，具体启动方法可用手动启动或脚本启动集群。
官方参考手册：http://spark.apache.org/docs/1.4.0/spark-standalone.html


1、手动启动可以参考 ： http://www.th7.cn/Program/java/201309/148408.shtml
2、启动脚本方式：
]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark常用概念]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48313017</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48313017</guid><author>dandykang</author><pubDate>Wed, 09 Sep 2015 11:05:33 +0800</pubDate><description><![CDATA[本文参考于http://www.aboutyun.com/thread-14833-1-1.html




Spark中一些常用术语定义：





Application： Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark-cassandra-connector阅读]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48311577</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48311577</guid><author>dandykang</author><pubDate>Wed, 09 Sep 2015 09:58:40 +0800</pubDate><description><![CDATA[最近使用Spark将处理数据存储到cassandra遇到些问题，于是乎大体看了下spark-cassandra-connector的源码
这是该项目的主页：https://github.com/datastax/spark-cassandra-connector ，上面的document有一些例子的用法。


使用时加入依赖


    
      com.datastax.spa]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark on yarn（动态资源调度）]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48160953</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48160953</guid><author>dandykang</author><pubDate>Tue, 01 Sep 2015 17:38:20 +0800</pubDate><description><![CDATA[对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。 
    动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减 Executor个数，从而实现动态分配资源，使整个]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark on yarn（External Shuffle Service）]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48160927</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48160927</guid><author>dandykang</author><pubDate>Tue, 01 Sep 2015 17:36:42 +0800</pubDate><description><![CDATA[Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle 数据，给其他Executor提供shuffle数据。
    当Executor进程任务过重，导致GC而不能为其 他Executor提供shuffle数据时，会影响任务运行。
    这里实际上是利用External Shuffle Service 来提升性能，External s]]></description><category></category></item><item><title><![CDATA[Spark学习笔记之-Spark远程调试]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/48153963</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/48153963</guid><author>dandykang</author><pubDate>Tue, 01 Sep 2015 09:52:37 +0800</pubDate><description><![CDATA[Spark远程调试
                      


本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ
 IDEA。


1、了解jvm一些参数属性


-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888



这里对上面的几个参数进行说]]></description><category></category></item><item><title><![CDATA[yarn日志配置（补充修改）]]></title><link>https://blog.youkuaiyun.com/dandykang/article/details/47726351</link><guid>https://blog.youkuaiyun.com/dandykang/article/details/47726351</guid><author>dandykang</author><pubDate>Mon, 17 Aug 2015 15:56:49 +0800</pubDate><description><![CDATA[注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

1.    权限相关配置参数

这里的权限由三部分组成，分别是：（1）管理员和普通用户如何区分 （2）服务级别的权限，比如哪些用户可以向集群提交ResourceManager提交应用程序，（3）队列级别的权限，比如哪些用户可以向队列A提交作业等。]]></description><category></category></item></channel></rss>