数据存储
关注
分享
扫一扫
jzy3711
Committed to solving actual problems, not Baidu can do it at a glance. When solving the problem, it will analyze the cause of the problem and intersperse some source-level things.
展开
-
redis 启动 报错 The RDB file contains module data I can't load: no matching module 'MBbloom--
##问题 redis启动报错The RDB file contains module data I can’t load: no matching module 'MBbloom-- ’##原因.rdb快照异常可参考 这里.##解决mv /data/data1/redis/slave/dump.rdb /data/data1/redis/slave/dump.rdb.bak图片:重...原创 2020-03-03 22:08:52 · 283240 阅读 · 0 评论 -
Spark on Hive：入门
Spark on Hive：入门版本兼容性 spark安装 配置YARN 配置Hive 配置属性详细信息 配置Spark 调整细节 常见问题（绿色已解决，将从此列表中删除） 推荐配置 设计文件 Hive on Spark为Hive提供了利用Apache Spark作为其执行引擎的能力。<span style="color:#172b4d">设置...翻译 2019-01-08 15:06:40 · 671 阅读 · 0 评论 -
HDFS，HBASE部分优化——基于大数据的全球能源信息系统
HDFS优化 DataNode打开最大文件数配置 操作场景一个HDFS Datanode同时打开的文件数量是有上限的，该上限是通过参数dfs.datanode.max.transfer.threads设置的，默认值为4096。根据集群的数据量和操作相应调高此值。操作步骤参数入口：在Ambari系统中，选择“服务 > HDFS > 配置”，通过过滤框搜索相应的参数配置...原创 2018-12-10 15:18:47 · 13333 阅读 · 0 评论 -
使用hive客户端的hdfs权限认证org.apache.hadoop.security.AccessControlException: Permission denied: user=root...
原因：hdfs上没有root用户，也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/root, 由于 root用户对hdfs目录并没有写入权限，所以导致异常的发生。而hdfs才有权限创建/user/root解决方法：1、第一种在hdfs的配置文件中，将dfs.permi...原创 2018-12-14 15:52:30 · 33630 阅读 · 2 评论 -
MongoDB WARNING: soft rlimits too low. rlimits set to 4096 processes, 65536 files.
[root@pc1 bin]# ./mongoMongoDB shell version v4.0.4connecting to: mongodb://127.0.0.1:27017Implicit session: session { "id" : UUID("5047276c-0682-464d-9bc0-4fa82ebbe63a") }MongoDB server version: ...原创 2018-12-03 18:07:10 · 16852 阅读 · 0 评论 -
org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start of Array expected
建表语句api="TodayHot"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( category string, description string, hotUrl string, addrlocal string, med...原创 2018-12-03 16:53:59 · 16130 阅读 · 0 评论 -
mysql specified key was too long与Index column size too large. The maximum column size is 767 bytes.
第一个问题：要设置utf-8就好；Index column size too large. The maximum column size is 767 bytes.第一步：use 进入数据库执行：set global innodb_file_format = BARRACUDA;set global innodb_large_prefix = ON；第二步：执行C...原创 2018-11-27 11:08:13 · 15443 阅读 · 0 评论 -
mongodb 配置文件
mongodb 配置文件本文档是在mongodb为3.4下编写的，仅作为参考，详细内容请参考：https://docs.mongodb.com/manual/reference/configuration-options/#configuration-file一.说明 配置mongodb有两种方式，一种是通过mongod和mongos两个命令；另外一种方式就是配置文件的方式。因...转载 2018-11-26 16:25:03 · 2422 阅读 · 0 评论 -
mongodb 副文本搭建 启停 脚本 ——来自我的QQ空间
cid=pdmi ip1=192.168.1.170:27017 ip2=192.168.1.171:27017 ip3=192.168.1.172:27017 tar -zxvf mongodb-linux-x86_64-amazon-3.4.2.tgz -C /usr/local cd /usr/local/ mv /usr/...原创 2018-11-18 10:40:53 · 12909 阅读 · 0 评论 -
hive 双分区外部表 复合数据结构处理 json list map互相嵌套
api="TopicHeatTrend"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( distribute map<string,map<string,int>>, heatTrend array<struc...原创 2018-11-19 18:29:11 · 13626 阅读 · 0 评论 -
Hive 中的复合数据结构简介以及一些函数的用法说明
目录[-]一、map、struct、array 这3种的用法： 1、Array的使用 2、Map 的使用 3、Struct 的使用 4、数据组合 （不支持组合的复杂数据类型） 二、hive中的一些不常见函数的用法： 1、array_contains （Collection Functions） 2、get_json_object （Misc. Functions） 3、pars...转载 2018-11-19 18:10:22 · 2551 阅读 · 0 评论 -
curl 获取json数据 导入hive外部双分区表 解决科学计数法和特殊字符问题 ——首发
shell 脚本hadoop dfs -mkdir /jzytest/hivePublicOpinionList/#创建hive外部双分区表hive -e 'create external table if not exists jzyPublicOpinionListjson( channel string, publishTime string, source string...原创 2018-11-19 15:08:50 · 13714 阅读 · 0 评论