weidianlun的博客

最近自己在spark集群云顶DataFrames向HDFS集群写入文件时候的遇到了下边错误信息的问题error: value write is not a member of org.apache.spark.sql.DataFrame其实通过上述错误信息描述并不能第一时间来进行确定问题所在之处，通过仔细检查代码，发现并无不妥之处，参考网上了说的一些说的主要几个场景，包括隐式转换位置错误，case class定义位置错误等等，关于说引入隐式转换的位置顺序出问题这个思路时，当时也有一点点怀疑，因..

最近在给新机器配置hbase集群时候出现个问题。错误信息为：ERROR: Can’t get master address from ZooKeeper; znode data == null前期探索判断zookeeper问题根据错误信息描述，潜意识认为是zookeeper集群没有起来，就跑到集群中看错误信息，发现一个leader两个follwer正常运行。初步排除集群问题，然后根据网上的一些错误描述说是节点数据问题，需要删除data目录下的内容（除myid文件）然后重启，试之~ 无果。hb.

背景&问题最近需要在虚拟机上安装mysql,为了方便采取的是yum install mysql-server方式，但是刚开始源于到了问题removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txtError: Cannot find a valid baseurl for repo: base由于本人是研发非专业运维人员，所以主要考在线寻找问题，经过国内的度娘发现大部分帖子上

起源在安装azkaban时候发现无法在宿主主机上调用https://ip:8443这个uri,确认docker中的服务启动，继续尝试ping容器发现无法ping通。慢慢就发现了新大陆。下边就开启追溯原因和探索解决方案：mac下的宿主无法ping通docker容器原因在于docker在OSX的实现方式，是首先创建一个linux的虚拟机，在将docker放入到虚拟机中实现，而对于linux虚拟机...

前言相信很多码友们也从事大数据行业，我接触大数据也有一段时间了，之前是在本机上利用Vmware搭建hadoop集群，随着时间的推移，发现电脑和人一样，到了年龄，身体一天不如一天。所以决定今天决定利用docker容器进行搭建一套伪分布式系统。如果没有了解过docker，下章我将会对docker的入门进行做一些说明，这里先普及一下什么是docker.Docker 是一个开源的应用容器引擎，让开发...