大数据
关注
分享
扫一扫
文章平均质量分 77
一朝风月S
内有激情，从容不迫
展开
-
Zookeeper集群的搭建与经验总结
(003)最近用到了Zookeeper来构建一个分布式的应用服务，顺便就把自己的操作方法记录了下来在Hadoop生态系统中Zookeeper还是比较容易安装部署的Zookeeper集群的搭建原料：三台服务器（我用的是三台虚拟机）zookeeper-3.4.13.tar.gz附件：链接：https://pan.baidu.com/s/1TG86uDKkhpz3LCtoamKj5Q...原创 2018-11-05 16:37:20 · 1078 阅读 · 2 评论 -
Hive（2.3.4）整合HBase（hbase-0.98.13-hadoop2）
1 Hive整合HBase的配置1.1 导入jar包导入hbase安装目录lib目录如下jar包到hive安装目录lib文件夹下（我这里没有导入是因为hive本身版本比较高它的lib目录下有1.1.1版本的，我觉得版本高于我安装的hbase集群，而且还比较接近就直接用默认的这些jar包了，如果读者按照这种方式失败的话严格用和hbase版本一致的jar包再试试）1.2 修改Hive的配置文件...原创 2019-01-07 19:13:37 · 485 阅读 · 0 评论 -
Hive之殇
问题1：java.lang.NoSuchMethodError:javax.persistence.PersistenceContext.synchronization()Ljavax/persistence/SynchronizationType;猜想：这个问题很有可能是组织jar包的错误，错误的组织jar包导致PersistenceContext有重复导致程序不能工作。解决方案：在ec...原创 2018-12-25 11:07:01 · 1125 阅读 · 0 评论 -
Spring-JPA（使用Hibernate作为JPA的实现）
1 简介在Spring2.0版本中，Spring首次集成了JPA，很多开发人员都推荐在基于Spring的应用程序中使用JPA实现持久化。实际上，有些人还将Spring-JPA合称为POJO开发的梦之队。2 示例在本示例中使用Hibernate作为JPA的实现，也可以选择类似的其他技术如MyBatis也是可以的。2.1 配置数据源我这边采用的是Hive作为数据源从中读取records表的数...原创 2018-12-24 16:22:10 · 4932 阅读 · 2 评论 -
安装Hive遇到的一些坑
问题1： Exception in thread “main” java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.描述： 启动Hive报错猜想： 这个应该是hive-site.xml文件和${system:java.io.tmpdir}有关的属性配置的有问题。解决方案：步骤1：通过下图所示命令，...原创 2018-12-17 19:38:05 · 525 阅读 · 2 评论 -
Hive环境搭建
1. MySQL安装 步骤1：下载mysq安装包步骤2：安装MySQL源步骤3：检查mysql源是否安装成功步骤4：安装5.6版本注：比如要安装5.6版本，将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可，上图为修改完毕的截图步骤5：安装MySQL步骤6：启动MySQL...原创 2018-12-17 18:52:41 · 1100 阅读 · 0 评论 -
问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String；I)V的解决方案
编号001（这一行为我自己为了方便起的标识，你们可以忽略……）最近编写了一个mapreduce程序，在eclipse中执行发现出现这个问题，百度各种方案都不行，花了好久才解决，现在把最近看过和亲测过的方案整理如下，希望能让别人早日出坑。前提条件：Hadoop集群（hadoop2.7.3）Java编译环境（jdk1.8）操作系统：win7IDE：eclipsehadoop插件下载...原创 2018-10-23 10:02:59 · 9458 阅读 · 8 评论 -
JDBC融合Spring技术（连接Hive）--使用JDBC模板
1 简述JDBC模板在实际编写JDBC程序的时候，我们需要负责处理与数据库访问相关的所有事情，这里包括管理数据库资源和处理异常。其中只有20%的代码是真正用于查询数据的，而80%代码都是样本代码，为了解决这一问题我们采用Spring的JDBC模板来简化工作，这里以连接Hive数据库为例。2 JDBC融合Spring技术示例基础环境HiveJDK1.8Spring程序清单Hiv...原创 2018-12-19 19:30:04 · 2268 阅读 · 1 评论 -
Spring 依赖注入(DI)示例
依赖注入依赖注入是为了解决紧耦合问题而产生的一种技术，紧耦合的代码难以测试、难以复用、难以理解，当程序出现bug时，修复bug经常会产生连锁反应，但是，一定程度的耦合又是必须的，完全没有耦合的代码什么也做不了。所以一种比较好的方案就是，将依赖关系交给第三方组件来描述。通过DI,对象的依赖关系将有系统中负责协调各对象的第三方组件在创建对象的时候设定。例如，在Spring中可以通过编写XML来描述...原创 2018-11-24 18:21:36 · 417 阅读 · 0 评论 -
Hadoop RPC机制的使用
一、基础概念概念：RPC(Remote Procedure Call)–远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。它允许一台计算机程序远程调用另外一台计算机...原创 2018-11-17 15:18:44 · 187 阅读 · 0 评论 -
HBase增删改查客户端
需要讲解的内容基本都写在代码里了，直接贴代码import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfigur...原创 2018-11-14 17:19:00 · 295 阅读 · 0 评论 -
大数据学习路线图
原创 2018-11-15 15:00:24 · 262 阅读 · 0 评论 -
HBase集群的搭建（版本：2.1.0）
(004)HBase是一个在HDFS上开发的面向列的分布式数据库。如果需要实时地随机访问超大规模数据集，就可以使用HBase这一Hadoop应用了HBase集群的搭建前提条件Hadoop集群ZooKeeper集群JDK原料hbase-2.1.0-bin.tar.gz附件链接：https://pan.baidu.com/s/1E5TQeoyofRDlyR9pTquzZQ提...原创 2018-11-08 13:36:06 · 846 阅读 · 0 评论 -
Hadoop集群搭建与经验总结
最近要研发一款数据传输服务的产品需要用到Hadoop集群，之前搭建过后来长时间不用就给忘记了，这次搭好来记录一下搭建方法与经验总结欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语...原创 2018-11-03 17:14:12 · 6459 阅读 · 3 评论 -
配置服务（基于ZooKeeper集群的配置服务）
配置服务配置服务是构建分布式应用所需的基本服务之一，配置服务可以让分布式应用检索和更新配置文件，我编写了一个配置服务的小例子供大家参考使用。运行环境：elipsejdk(我用的是jdk1.8)ZooKeeper集群（结构请参考我的另一篇文章：https://blog.youkuaiyun.com/weixin_37624828/article/details/83750468）代码整个服务由...原创 2018-11-07 17:13:16 · 455 阅读 · 0 评论