大数据
关注
分享
扫一扫
半壁江山009
初入bigdata,坚持耕耘
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
druid查询技巧（持续更新）
背景：工作中经常需要用到druid做聚合，需要用到druid的类sql语法方法：1.问题：一段时间范围内 按照时间粒度聚合 比如:一天内按照每小时聚合的结果操作：使用 FLOOR()函数，比如：SELECT FLOOR(__time TO hour) as duration ,avg(xxx) as xxx from "table" where __time >= CURRENT_TIMESTAMP - INTERVAL '1' day AND xxxx IS NOT null GROUP原创 2021-10-13 11:58:42 · 994 阅读 · 0 评论 -
grafana配置技巧（持续更新）
背景grafana日常工作中非常有用，配置起来虽然不难，但是非常繁琐，所以开辟一个地方用来记录每次令人抓狂的配置细节。配置方式1.druid数据源，配置filter是不为null 这个条件，sql中 相当于 name is not null配置：regex: name = .* ;//解释反向操作：正则配置到所有存在的 则null的被过滤...原创 2021-09-27 16:29:57 · 1725 阅读 · 0 评论 -
grafana填坑
报错：TemplatingTemplate variables could not be initialized: Error 1054: Unknown column ‘q’ in ‘where clause’原创 2021-03-12 21:50:26 · 3571 阅读 · 0 评论 -
hive SQL 过滤不含数字的字段
需求：有表 flow_table (host，request_path, cnt)需要用hiveSQL过滤表中 request_path不含数字的host和request;方法：使用hive中 RLIKE 这个关键字介绍：RLIKE 子句是 Hive 中这个功能的一个扩展， 其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件具体操作：select host, request_path from flow_table where not (request_path Rlike原创 2021-03-10 23:07:10 · 6605 阅读 · 2 评论 -
Flink实战（一）：订单支付实时监控
Flink实战（一）：订单支付实时监控一、背景 在电商平台中，最终创造收入和利润的是用户下单购买的环节；更具体一点，是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求，但在现实中，并不是每次下单都会被用户立刻支付。当拖延一段时间后，用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率，同时也为了防范订单支付环节的安全风险，电商网站往往会对订单状态进行监控，设置...原创 2019-12-17 21:06:19 · 1849 阅读 · 0 评论 -
centos7安装单机HDFS
背景：VMware15centos7在非root目录下操作jdk1.8.0_231hadoop-3.1.3一、配置JDK环境参考上一篇文章 文章链接二、配置免密登入ssh-keygen -t rsacd ~/.sshcat id_rsa.pub>>authorized_keys#如果不能绵密登录，执行以下命令chmod 710 authorized_key...原创 2019-11-29 11:29:49 · 1341 阅读 · 2 评论 -
centos7非root用户安装JDK
背景：VMware15centos7在非root目录下操作jdk1.8.0_231**一、JDK安装**使用的版本是 jdk1.8.0_231 官网地址1.用rz命令上传到自己目录 /home/song/soft rz安装教程[song@master soft]$ lldrwxr-xr-x. 7 song song 245 Oct 5 18:13 jdk1...原创 2019-11-29 10:41:57 · 1478 阅读 · 0 评论 -
国内用户下载git代码慢 解决方案
Mac/Linux用户配置/etc/hostswindows用户配置 C:\Windows\System32\drivers\etc\hosts添加上如下配置：151.101.72.133 assets-cdn.github.com151.101.73.194 github.global.ssl.fastly.net192.30.253.113 github.com11.238.159...原创 2019-05-13 11:13:26 · 5004 阅读 · 1 评论 -
Flink:recursive.file.enumeration读hdfs超时无法提submit job问题
背景：使用flink批作业 读取存在hdfs上的日志 需要迭代读取目录下所有文件的内容使用的方法： Configuration conf = new Configuration(); conf.setBoolean("recursive.file.enumeration", true); DataSet<String> in = en...原创 2019-03-18 20:38:09 · 587 阅读 · 1 评论 -
Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost
解决方法： 这个问题还是数据库的问题，因为hive的元数据需要保存在自己配的mysql中或者他们数据库中 出现这个问题很大程度就是数据库出问题和hadoop没启动 所以： 1.查看自己的mysql（我存在mysql中） mysql -uroot -p enter password: 如果能正常登入 mysql> 说明mysql没问题； 不能登入则先解决数据库问题 然后重启数...原创 2018-09-03 16:49:59 · 6752 阅读 · 0 评论 -
ubuntu中安装MySQL及遇到问题详解
每次遇到要安装MySQL就有点慌，以前在Windows中安装过程出现了很多问题，一度就不想再去碰他 这次在ubuntu下安装还算顺利 1.简单分享Ubuntu 16.04下安装MySQL的过程。 首先执行下面三条命令： sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install lib...原创 2018-08-28 09:55:21 · 294 阅读 · 0 评论 -
小白大数据之三台腾讯云（ubuntu）搭建大数据分布式系统
1.建立一个用户： 申请腾讯云的时候如果已经有用户了 就直接用 如果只有一个root用户就再申请一个操作用户，我这里叫他hadoop 说明 ubuntu初始阶段root用户是没有密码的 要用sudo su 切换进入 所以最好 一开始就设置好密码：sudo passwd root(假设root的密码设为root) 好，然后切换到root目录下： 输入：useradd -r -m ...原创 2018-08-27 19:16:48 · 469 阅读 · 0 评论 -
安装virtualbox 启动乌班图出现 -3738错误
问题如上图所示。 解决办法 ：用版本更低的virtualBox 使用旧的版本:VirtualBox-4.3.12-93733-Win.exe下载链接 亲测用这个可以解决 正常启动原创 2018-05-18 16:09:52 · 1151 阅读 · 0 评论