
大数据
文章平均质量分 77
ya0ng
这个作者很懒,什么都没留下…
展开
-
Hive基础知识之顾客访问店铺数据分析(UV、Top3)
已知顾客访问店铺的访问日志user_idshopu1au2bu1bu1au3cu4bu1au2cu5bu4bu6cu2cu1bu2au2au3au5au5au5a建表、导表create table visit(user_id string,shop string) row format delimited fields termina原创 2021-09-18 01:37:34 · 674 阅读 · 0 评论 -
Hive基本操作之用户访问次数统计
# 前言根据对用户ID、访问日期、访问次数的若干条数据,分析得出每个用户的累计访问次数,涉及字符串替换、时间函数、开窗、求和等技术。## 1. 假如有用户访问数据(用户ID,访问日期,访问次数)|userId|visitDate|visitCount|| -- | -- | -- ||u01|2017/1/21|5||u02|2017/1/23|6||u03|2017/1/22|8||u04|2017/1/20|3||u01|2017/1/23|6||u01|2017/2/21|8||原创 2021-09-12 22:52:02 · 1664 阅读 · 0 评论 -
Hive基本操作之平均成绩、优秀统计
## 有一组成绩数据(学号;科目;成绩)*1001 01 90<br/>1001 02 90<br/>1001 03 90<br/>1002 01 85<br/>1002 02 85<br/>1002 03 70<br/>1003 01 70<br/>1003 02 70<br/>1003 03...原创 2021-09-12 00:19:22 · 3261 阅读 · 0 评论 -
职位画像中phoenix链接HBase异常之版本不匹配
Phoenix简介Phoenix是一个基于HBase的开源SQL引擎,可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据,它是完全使用Java编写,作为HBase内嵌的JDBC驱动使用。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。Phoenix性能如此优秀有下面几原创 2021-08-20 21:14:03 · 188 阅读 · 0 评论 -
解决Httpd静态资源服务器资源乱码问题
前文书:搭建本地Yum源用到了静态资源服务器技术服务是起起来了,资源也能够访问到了,但存在不友好问题有3:带有中文的文件名或路径乱码浏览器支持格式会直接打开较长的文件名显示不全资源列表如下在Google Chrome上的访问页面如下经过一段时间的搜索和尝试逐步的解决了前面的问题:乱码问题:编辑httpd配置文件httpd.conf,增加(或修改)页面的默认编码类型为UTF-8vi /etc/httpd/conf/httpd.conf......IndexOptions原创 2021-08-16 20:34:19 · 786 阅读 · 0 评论 -
Httpd+本地Yum源(+云主机+域名)
配置本地Yum源静态资源服务器云主机+域名=>云上静态资源服务器原创 2021-08-02 16:49:14 · 460 阅读 · 0 评论 -
Spark+解析文本+递归+模式匹配+广播筛选
需求:查询给定的若干表在代码中有几个被使用转换概念:给定的关键词,在日志文件中命中了几种Step 1:创建SparkContextStep 2:读取目标路径下的文件Step 3:读取关键词列表Step 4:把若干文件的数据整合到一起Step 6:核心计算【广播Join,计数,筛选,去重】Step 7:关闭SparksCont总结:四个spark技巧原创 2021-07-31 20:15:00 · 612 阅读 · 0 评论 -
战斗民族的ClickHouse安装异常及应对及升级
偶然接触ClickHouse这种快速开源的OLAP列式数据库管理系统,就按照随手搜索的帖子操作,看ClickHouse官网上打了会酱油,看了看文档,貌似太深奥,就直奔installation,可是文档太专业,从环境检测到Deb安装、Rpm安装、Tgz安装,最后还有Docker安装,也不确定那种方式靠谱,就找了偏步骤比较详细的帖子操练了起来稳定版有两套,就选择了较高的版本,打算试吃一下。第一步:下载安装包clickhouse-server-common-1.1.54236-4.el7.x86..原创 2021-07-22 00:45:30 · 1680 阅读 · 2 评论