
大数据笔记
学编程的小人儿
你必须很努力,才会看起来毫不费力。
展开
-
初识java连接Phoenix遇到的坑
在一个项目中遇到java连接phoenix,需要做翻页操作。 我开始用了select * from tableName limit 1,10;发现不起作用,跟mysql语法不一样,phoenix中limit后面只能跟一位。最后经查阅,应该这样使用 select * from tableName limit 10 offset 1;原创 2017-07-09 21:54:23 · 5479 阅读 · 0 评论 -
windows下scala开发环境搭建
1.下载安装jdk1.8 2.下载安装scala sbt:(simple build tool )构建 scala的工具,就像maven对于java的作用一样 下载地址:http://www.scala-lang.org/download/ 下载scala安装包之后,直接下一步下一步点击安装 安装好scala后在命令行输入scala,查看运行结果 3.用idea开发 创建scala原创 2017-09-11 13:39:37 · 737 阅读 · 0 评论 -
windows下idea中搭建hadoop开发环境,向远程hadoop集群提交mapreduce任务
1.下载hadoop2.6.0-cdh5.6.1,解压并安装公司用的hadoop集群版本是hadoop2.6.0-cdh5.6.1,防止版本冲突,所有的hadoop版本号都用了这个。 下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.1.tar.gz 解压,放在D:\software\hadoop-2.6.0 配置环原创 2017-11-28 15:28:05 · 2718 阅读 · 0 评论 -
HBase基础
hbase基本概念hbase:海量数剧,实时查询 hbase即hadoop database,这是一个在HFDS上的分布式数据库。与传统关系型数据库的行数据存储不同,Hbase则是以列的形式存储数据。 RowKey行键 info:name info:sex grade:math student1 row 1 col 2 row 1 col 3 row 1 col 4原创 2018-02-06 17:31:44 · 302 阅读 · 0 评论 -
Java连接hdfs (参数配置一)
今天在Java访问hdfs上文件的时候,报错:2018-05-03 22:40:53.343 INFO 10158 --- [eduler_Worker-4] org.apache.hadoop.ipc.Client : Retrying connect to server: master/172.16.80.70:8020. Already tried 37 time(s原创 2018-05-03 22:53:00 · 3032 阅读 · 0 评论 -
hive基础
hive wikihttps://cwiki.apache.org/confluence/display/Hive#Home-UserDocumentationhive的3种运行模式:内嵌模式:将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接...原创 2018-12-05 16:55:51 · 344 阅读 · 0 评论 -
Docker常用命令
常用docker命令从docker仓库获取镜像docker pull 172.16.0.11/mysql:5.6列出镜像列表:docker images删除镜像:(删除镜像前要保证容器时停止的)docker rmi imageID查找容器id:docker ps |grep mariadb :运行镜像:docker run -d --name zone -e eurekaU...原创 2019-02-13 16:48:54 · 231 阅读 · 0 评论