zl

在spark的提交命令中，增加如上两行，即可实现spark从apollo配置中心中读取自己的数据。

如上所示，所有的数据行内容都和列名是一样的。

目录1、Hadoop相关2、启动时出现missing parameter type错误3、处理Protobuf对象4、Flink-kafka Producer问题5、static关键字导致加载config为空问题6、序列化异常1、Hadoop相关javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be .

因为项目是使用到了org.apache.thrift，在任务执行过程中，遇到了各种因thrift引起的jar包冲突问题，第一个想到的是shade<relocation> <pattern>org.apache.thrift</pattern> <shadedPattern>shade.org.apache.thrift</shadedPattern></relocation>最后一个stage解决了，但是由.

在cloudera manager管理界面上操作往CDH集群添加新主机时，跳过JDK安装的步骤，因为服务器一般都会安装有JDK全部步骤完成后，到主机配置也发现由如下提示：“主机上未检测到 Java JDK。”如果不解决这个问题，角色将会无法启动。在配置页面搜索java，配置对应路径，保存配置即可...

从事服务端开发，少不了要接触网络编程。epoll 作为 Linux 下高性能网络服务器的必备技术至关重要，nginx、Redis、Skynet 和大部分游戏服务器都使用到这一多路复用技术。epoll 很重要，但是 epoll 与 select 的区别是什么呢？epoll 高效的原因是什么？网上虽然也有不少讲解 epoll 的文章，但要么是过于浅显，或者陷入源码解析，很少能有通俗易懂的。...

目录背景现象定位方法解决办法背景spark1.6.1 升级到 spark 2.1.0，codis版本是0.4.0现象代码没有改动，但是使用codis出现了问题，导致无法正常运行，错误如下redis.clients.jedis.exceptions.JedisException: Proxy list empty看源码pools为空的情况下会...

版本信息Spark：2.1使用方法代码：parseAsConfig(commandLine) match { case Some(config) => val ext = new Job().run() sys.exit(ext) case None => sys.exit(1) } }脚本：...

背景Kafka的topic进行扩容，出现丢数据的情况，只能通过重启的方式来解决。解决方法KafkaSource创建的时候，在Properties中，通过设置参数flink.partition-discovery.interval-millis 来打开自动发现功能。此参数的功能是间隔多久（interval）获取一次kakfa的元数据。默认是关闭的，只要设置interval大于0...

执行其刚写完的项目进行测试时，遇到以下问题ERROR yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application检查代码(Scala)，发现其将SparkContext的创建写在了class中，并且其之前还有很多其他的业务逻辑代码object S.

1、主要是在VM options这里配置 -Dspark.master=local，即可直接在本地运行spark程序2、如果代码中需要传递参数，通过CommandLine和Options来解析，需要在Program arguments这里进行配置即可，比如--parameter xx --parameter2 xxx...

package com.jobimport org.apache.commons.cli.{BasicParser, CommandLine, Options}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{StringType, StructType}case class Transfer2HiveConfig(query_day: String)object Transf.

Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。

背景在使用Mongodb Hadoop Connector的时，采用了Mongodb-based方式，也就是hive直接在mongo上进行查询，在测试的时候，遇到了一个问题，那就是在进行查询的时候，where后面不可以使用“=”。示例首先在Mongodb中插入两条测试数据在hive下创建表，使用如下语句create external table user_test(id

之前试着搞了一下hbase，现在再来试一下hive的配置使用。配置pom.xml内容没有给全，主要贴出了hbase需要的，其他的根据个人需要而添加 4.1.6.RELEASE 2.4.0.RELEASE 2.6.0 1.0.0

最近项目要用Hadoop来做数据分析，所以让我先熟悉一下相关的知识，第一次接触，公司也没有人有这方面的经验，只好自己摸着石头过河，理论知识只能在之后的使用过程中慢慢积累和深入学习，现在只能先想办法把项目跑起来。环境的搭建是运维给搞好的，Hadoop是2.6.0版本，这里需要注意的是，相关端口需要运维提前给好相关权限，我用了半天时间找一个问题，最后发现是一个端口没有权限造成的，白白浪费了时间。