大数据踩过的坑

最新推荐文章于 2023-04-01 13:26:18 发布
原创 最新推荐文章于 2023-04-01 13:26:18 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.jps有数据

①浏览器输入:(机器名):50070打不开，把用户名替换成ip地址访问

②浏览器输入:(ip地址):50070还打不开，关闭防火墙  service iptables stop

SZStudy
关注
大数据踩过的坑（一）hive union
zll_1234的博客
05-20 2327
大数据踩过的坑（一）hive union 今天朋友问我一个关于hive的问题，是想将两个筛选条件的值加起来，然后就想到了用union，因为最近用的MySQL比较多，就直接写了union，朋友说hive里没有union，只有union all，但是我这边用union测试的是没有 问题的，然后就上网搜了一下，列了下面几点 合并前的两个SQL select count(distinct uid) as ct1 from users where status=1; select count(distinct u
大数据可视化常见误区：90%的人都踩过的坑
最新发布
AI算力网络与通信的博客
08-23 751
好的”数据可视化不是“好看的图表”，而是“能高效传递有价值信息的工具”。
大数据踩坑集锦
10-25
大数据你一定会碰到的坑，这里告诉你答案，kafka数据流崩裂后你如何hadoop离线和spark实时呢
运维专家：我在大数据项目中踩过的那些坑
weixin_34216196的博客
08-15 413
一、主要讨论人员 提问：陈超，七牛云技术总监 回答：朱冠胤，百度资深大数据专家，连续两次百度最高奖得主。 二、引言 “坐而论道”是一个轮流问答的玩法。本文是大数据主题周中，几位国内一线专家激情问答的一部分内容。期间，各位群友也积极参与。 三、问题集锦 1.MongoDB在百度的使用场景及规模? 2.假设现在让你完全主导一个类似Hadoop的项目，你会选...
大数据开发走过的坑--storm集群搭建
Bob
02-07 397
新换了一个笔记本，重新搭建storm集群的时候，遇见了一个坑，分享给大家，希望能有所帮助。 别的不说了，大家按步骤搞就行了，要注意的是storm.yaml的编辑，看图片红色字体就行了 写不对的话，就会各种错误提示 还有就是用工具修改storm.yaml文件，一定要在Linux确定修改成功了，然后重新运行启动命令即可。
大数据踩坑点
qq_38899793的博客
05-24 296
1、kafka json消息拆U，为了防止出现主键变化的情况，update数据是一条before一条after。如果只拿after的数据去更新，此时，主键变化了，则无法删除，所有应该用before的数据去做删除，再用after的数据去新增 2、小文件合并，因为hdfs底层存储是以block块为单位，默认为128M，如果过多的小文件不满128m，在做map的时候每一个文件就需要生成一个映射，过多的小文件会生成很多映射，会导致程序运行缓慢。将小文件合并成接近128m大小的文件，会大大增加map的效率。
大数据踩坑
baby_wax_gourd的博客
08-09 205
标记
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 ...
大数据踩的坑
huanghui147258369的博客
06-30 1094
hbase出现的问题：1、Hbase集群启动不了。regionserver.HRegionServer: error telling master we are upcom.google.protobuf.ServiceException: java.io.IOException: Call to user253166468785736-bigdata-master/172.30.24.7:160...
大数据遇到的坑
亮仔的专栏
09-21 2863
春去秋来，转眼一年又快过去了，这大半年遇到的坑再不记录就忘记了。公司hadoop集群从年初的200台多点到现在的700+，用户越来越多，遇到的坑就越来越多，大坑必须做好熬夜的准备，还好每一次加班都填平了坑。 1、hive丢数据了 最近周五将要下班的时候接到同事的电话说一个作业丢数据了将近200万，顿时隐隐感觉不妙，立马投入查看作业日志的进程中。分析作业日志发现临时...
SparkHadoopHbase案例
06-16
SparkHadoopHbase案例，SparkSteamingKafka为接收kafka数据，进行日志分析，然后存入hbase
大数据踩坑记录20200628
qq_37607026的博客
06-28 226
saveAsTextFile 保存得地址是到文件夹得 根本不是导出得一个文件 mapRDD.coalesce(1,true).saveAsTextFile(filePath);
部署大数据集群时踩过的坑 (持续更新)
生活不易，喵喵叹气
04-01 1790
该自检手册用于记录所有自己遇到的关于大数据集群的问题
【云栖大会】行在：6年大数据实践中我们所踩过的坑
weixin_34013044的博客
01-12 148
云栖大会将在2016年1月20日登陆上海。云栖大会上海峰会提供六大分论坛（包括金融、平台构建、创业与生态、互联网＋、大数据、政务云安全等）、46+场高浓度演讲、4场开放实验室，近百位一线技术专家现场互动。 为了让大家更多了解云栖大会上海峰会情况，我们对相关分论坛出品人进行了系列采访。本期采访嘉宾——阿里云数加工场的张金银（花名行在），云栖大会上海峰...
大数据综合实验的踩坑总结（林子雨）
lendsomething的博客
06-17 5481
这里是实验的来源 综合实验一 综合实验二 实验环境说明 我使用的实验环境是：Hadoop2.7.7 + Hive3.1.2 + ZooKeeper3.6.1 + HBase1.4.13 + Sqoop1.4.6 之前一直是按照林子雨老师的博客进行学习的，他里面安装的是hadoop3.1.3，Hbase2.2.2，在本次实验中，hadoop的版本和hbase的版本是不能满足需求的，原因是Sqoop1.4.6的数据互导不能支持hbase2.x，需要更换hbase，换了hbase还需要换与其兼容的hadoop。上
这些年，在数据挖掘项目中踩的“坑”
weixin_30335575的博客
08-15 201
数据挖掘项目是一个涉及的环节也比较多，而且高度依赖数据的项目。所以在其中一个过程中遇到点坑，简直太正常不过了。需求不明确是第一大坑。需求不明确会把后面的分析方向完全带沟沟里面去，也容易被迫接受一些不可能完成的挖掘目标和商业目标。不过这种一般只会发生在一个公司刚开始有这个岗位的时候，随着项目的增加，后面大家普遍就知道数据挖掘的极限了，也知道数据挖掘任务所存在的风险了，便不会提出不可能完成的目标了。说...
大数据学习路上踩过的坑（一）
a5678110的博客
03-08 267
0x01 sbt的安装 Mac下先安装homebrew，然后使用命令brew install sbt，要等蛮久 创建文件~/.sbt/repositories，文件中的内容如下: [repositories] local oschina:http://maven.oschina.net/content/groups/public/ osch...
大数据开发遇到的问题
LILAIQUN博客
08-12 958
1. mapreduce卡在mapreduce.Job: Running job 查看日志 cat logs/yarn-resourcemanager.local.log WARN org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue: maximum-am-resource-percent is in...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值