- 博客(18)
- 收藏
- 关注
RSS订阅转载 centos和ubuntu配置路由的三种方式
本篇总结三种修改路由的方式：route, ip route, 以及通过修改文件来配置路由，前2种命令行形式适用于ubuntu和centos，重启失效，最后一种永久有效。一. route命令 1) 查看：route -n 2)添加：route add[-net|-host]target [netmask Nm] ...
2019-07-12 10:32:46
886
转载 运行 Spark 应用
转自：http://cwiki.apachecn.org/pages/viewpage.action?pageId=2162910运行 Spark 应用您可以在本地或者群集中运行 Spark 应用程序，既可以通过使用交互式 Shell的方式， 又可以通过提交一个应用程序的方式。通常在执行数据探索阶段和为了 Ad-Hoc 分析 时运行交互式的 Spark 应用程序。因为 Scal...
2019-06-25 09:40:34
193
原创 Missing artifact jdk.tools:jdk.tools:jar:1.8报错
Missing artifact jdk.tools:jdk.tools:jar:1.8报错解决方法： pom文件中加入 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> ...
2019-06-17 14:58:52
889
转载 hive模糊搜索表
版权声明：本文为博主原创文章，欢迎交流分享，未经博主允许不得转载。 https://blog.youkuaiyun.com/HHTNAN/article/details/54571924 </div> ...
2019-06-14 11:00:26
11123
1
原创 Hbase Hive整合映射
1. 创建hbase表hbase(main):016:0> create 'hb_tgtest',{NAME => 'cf',REPLICATION_SCOPE => 1}2．创建hive表hive> CREATE EXTERNAL TABLE tgtest_info(key int,device_id string,lon double,l...
2019-06-13 15:01:03
273
转载 hive与hbase是什么关系？怎么区分？
最近在学习和整理大数据hadoop的资料时，突然发现一个简单又复杂的问题：hive与hbase是什么关系？怎么区分？平时有接触和使用过hive和hbase，hive的话主要用的是阿里云的odps，hbase用的是hdp平台的开源版本，但是还没有对这两个组件真正的系...
2019-06-06 16:54:23
2696
转载 hive中创建关联hbase表的几种方案
【运行环境】hive-1.2.1 hbase-1.1.2【需求背景】有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询，也就是通过hive就能查到hbase里的数据。但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是：hbase中已经存在了一张表。可选的方...
2019-06-06 16:11:52
1300
原创 大数据集群的搭建以及开发
大数据集群的搭建以及开发目录一． 搭建环境准备.......................................................................................................... 21.1 操作系统版本支持................................................
2019-06-06 10:30:34
3293
原创 Hive 使用insert into语句报没有执行权限的解决方法
在hiveshell中创建表后，执行insertinto语句报如下错误：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache.ha...
2019-06-05 14:04:29
2801
原创 cloudera hue Load Balancer启动报错问题分析启动报错问题分析
1.问题错误：httpd: Syntax error on line 82 of /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/348-hue-HUE_LOAD_BALANCER/httpd.conf: Cannot load /usr/lib64/httpd/modules/mod_ssl.so into serv...
2019-05-06 09:55:43
829
原创 ceph dashboad功能初探
前提：搭建好一个ceph集群，版本luminous检查集群状态#ceph -s[root@stornode3 ceph]# ceph -s cluster: id: bb88ce00-3f5a-4322-9a80-a80fa71e00ef health: HEALTH_OK services: mon: 3 daemons, quorum m...
2018-08-28 13:57:17
1403
原创 内核获取的mac与厂商mac不一致
内核获取的mac与厂商写入路由器falsh中的mac地址不一致解决方法：修改内核驱动源码：源码路径：drivers/net/raeth/raether.c i = ra_mtd_read_nm("Factory", GMAC0_OFFSET, 6, addr.sa_data); 改成 i = ra_mtd_read_nm("Factory", 4, 6, ad...
2018-08-24 10:33:53
512
原创 grep查找时，去掉grep本身那一条
grep 查找时，总会显示本身那一条，比如要查找netifd这个进程的运行状态,去掉本身那一条,可以如下shell操作：ps -aux | grep netifd | grep -v grep查找文件中关键字CFG_BOOT，shell如下：grep CFG_BOOT* ./* -r...
2018-08-24 10:27:39
6003
原创 A3-lede编译配置
A3-lede编译配置1：修改固件默认为中文vi ./feeds/luci/modules/luci-base/root/etc/config/luciconfig core main option lang zh_cn option mediaurlbase /luci-static/bootstrap option resour...
2018-08-22 10:40:55
590
转载 Ceph Jewel 10.2.3 环境部署
本文转自：https://www.cnblogs.com/icloud/p/6115447.htmlCeph Jewel 10.2.3 环境部署Ceph 测试环境部署本文档内容概要测试环境ceph集群部署规划 测试环境ceph集群部署过程及块设备使用流程 mon节点扩容及osd节点扩容方法 常见问题及解决方法由于暂时没有用到对象存储，所以暂时没有配对象存储的网关。...
2018-08-22 10:25:18
2746
转载 ceph修复osd为down的情况
尝试一、直接重新激活所有osd1、查看osd树 root@ceph01:~# ceph osd treeID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.29279 root default -2 0.14639 h...
2018-08-21 14:57:26
329
1
转载 Linux内存初始化
Linux内存初始化 2010-08-14 12:10 3885人阅读 评论(5)收藏举报 注：本文中提及的ICE为一个使用Android2.1(Linux2.6.29)的项目。 在进入复杂的内存初始化过程前，我们先看看初始化后的内存分配及映射图，以便有一个整体的印象。以此印象为轴，将各个小的过程、细节串起来达到最终对内存认识的融会贯通。图1-1描绘的是ICE平台划给L
2012-06-07 11:23:42
370
转载 linux高端内存管理之非连续内存区（描述）
Linux内存管理 - 内核页表的建立 （描述）分类： linux内存管理 2012-01-06 14:43 212人阅读 评论(0)收藏举报总结了高端内存区的固定内核映射区、临时内核映射与永久内核映射。但是对于高端内存中各个区间的布置我们任然不是很清楚，首先我们从整体上看看内核对高端内存的划分情况。如果内存足够大（比如用户：内核线性空间=3:1，内核就只能
2012-03-12 15:32:47
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人