
大数据
半壁江山009
初入bigdata,坚持耕耘
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
druid查询技巧(持续更新)
背景:工作中经常需要用到druid做聚合,需要用到druid的类sql语法方法:1.问题:一段时间范围内 按照时间粒度聚合 比如:一天内按照每小时聚合的结果操作:使用 FLOOR()函数,比如:SELECT FLOOR(__time TO hour) as duration ,avg(xxx) as xxx from "table" where __time >= CURRENT_TIMESTAMP - INTERVAL '1' day AND xxxx IS NOT null GROUP原创 2021-10-13 11:58:42 · 994 阅读 · 0 评论 -
grafana配置技巧(持续更新)
背景grafana日常工作中非常有用,配置起来虽然不难,但是非常繁琐,所以开辟一个地方用来记录每次令人抓狂的配置细节。配置方式1.druid数据源,配置filter是不为null 这个条件,sql中 相当于 name is not null配置:regex: name = .* ;//解释反向操作:正则配置到所有存在的 则null的被过滤...原创 2021-09-27 16:29:57 · 1725 阅读 · 0 评论 -
grafana填坑
报错:TemplatingTemplate variables could not be initialized: Error 1054: Unknown column ‘q’ in ‘where clause’原创 2021-03-12 21:50:26 · 3570 阅读 · 0 评论 -
hive SQL 过滤不含数字的字段
需求:有表 flow_table (host,request_path, cnt)需要用hiveSQL过滤表中 request_path不含数字的host和request;方法:使用hive中 RLIKE 这个关键字介绍:RLIKE 子句是 Hive 中这个功能的一个扩展, 其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件具体操作:select host, request_path from flow_table where not (request_path Rlike原创 2021-03-10 23:07:10 · 6604 阅读 · 2 评论 -
Flink实战(一):订单支付实时监控
Flink实战(一):订单支付实时监控一、背景 在电商平台中,最终创造收入和利润的是用户下单购买的环节;更具体一点,是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求,但在现实中,并不是每次下单都会被用户立刻支付。当拖延一段时间后,用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率,同时也为了防范订单支付环节的安全风险,电商网站往往会对订单状态进行监控,设置...原创 2019-12-17 21:06:19 · 1849 阅读 · 0 评论 -
centos7安装单机HDFS
背景:VMware15centos7在非root目录下操作jdk1.8.0_231hadoop-3.1.3一、配置JDK环境参考上一篇文章 文章链接二、配置免密登入ssh-keygen -t rsacd ~/.sshcat id_rsa.pub>>authorized_keys#如果不能绵密登录,执行以下命令chmod 710 authorized_key...原创 2019-11-29 11:29:49 · 1341 阅读 · 2 评论 -
centos7非root用户安装JDK
背景:VMware15centos7在非root目录下操作jdk1.8.0_231**一、JDK安装**使用的版本是 jdk1.8.0_231 官网地址1.用rz命令上传到自己目录 /home/song/soft rz安装教程[song@master soft]$ lldrwxr-xr-x. 7 song song 245 Oct 5 18:13 jdk1...原创 2019-11-29 10:41:57 · 1478 阅读 · 0 评论 -
国内用户下载git代码慢 解决方案
Mac/Linux用户配置/etc/hostswindows用户配置 C:\Windows\System32\drivers\etc\hosts添加上如下配置:151.101.72.133 assets-cdn.github.com151.101.73.194 github.global.ssl.fastly.net192.30.253.113 github.com11.238.159...原创 2019-05-13 11:13:26 · 5004 阅读 · 1 评论 -
Flink:recursive.file.enumeration读hdfs超时无法提submit job问题
背景:使用flink批作业 读取存在hdfs上的日志 需要迭代读取目录下所有文件的内容使用的方法: Configuration conf = new Configuration(); conf.setBoolean("recursive.file.enumeration", true); DataSet<String> in = en...原创 2019-03-18 20:38:09 · 587 阅读 · 1 评论 -
Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost
解决方法: 这个问题还是数据库的问题,因为hive的元数据需要保存在自己配的mysql中或者他们数据库中 出现这个问题很大程度就是数据库出问题和hadoop没启动 所以: 1.查看自己的mysql(我存在mysql中) mysql -uroot -p enter password: 如果能正常登入 mysql> 说明mysql没问题; 不能登入则先解决数据库问题 然后重启数...原创 2018-09-03 16:49:59 · 6752 阅读 · 0 评论 -
ubuntu中安装MySQL及遇到问题详解
每次遇到要安装MySQL就有点慌,以前在Windows中安装过程出现了很多问题,一度就不想再去碰他 这次在ubuntu下安装还算顺利 1.简单分享Ubuntu 16.04下安装MySQL的过程。 首先执行下面三条命令: sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install lib...原创 2018-08-28 09:55:21 · 294 阅读 · 0 评论 -
小白大数据之三台腾讯云(ubuntu)搭建大数据分布式系统
1.建立一个用户: 申请腾讯云的时候如果已经有用户了 就直接用 如果只有一个root用户就再申请一个操作用户,我这里叫他hadoop 说明 ubuntu初始阶段root用户是没有密码的 要用sudo su 切换进入 所以最好 一开始就设置好密码:sudo passwd root(假设root的密码设为root) 好,然后切换到root目录下: 输入:useradd -r -m ...原创 2018-08-27 19:16:48 · 469 阅读 · 0 评论 -
安装virtualbox 启动乌班图出现 -3738错误
问题如上图所示。 解决办法 :用版本更低的virtualBox 使用旧的版本:VirtualBox-4.3.12-93733-Win.exe下载链接 亲测用这个可以解决 正常启动原创 2018-05-18 16:09:52 · 1151 阅读 · 0 评论