树下AI-优快云博客

常用的商拆工具找数据或作图一个工具合集网站https://www.kaolamedia.com/?ivk_sa=1024320u做思维导图-xmindhttps://www.xmind.cn/长尾词用5118 可以搜索各种长尾词，本身可以算侧面描写，还能发散思维。研究5118里面妙用可就太多了！https://www.5118.com/微信公众号文章搜索导出工具https://www.juyimv.cn/专业收集爆款文章和关注公众号大v的动态http://www.jutuwenhua

2021-12-07 10:37:50 1043

原创 hive取当前周的周一

需要用到hive中的next_day函数和date_add函数例如：next_day(“2021-09-23”,“mo”)第一步：先取当前周的下一个周一hive (dws)> select next_day("2021-09-23","mo") as monday;OKmonday2021-09-27第二步：取当前周的周一hive (dws)> select date_add(next_day('2021-09-23','MO'),-7) as monday;OKmo.

2021-09-26 21:38:07 8185

原创 hive使用自定义UDF处理json数据数组

前期准备部分测试数据user1;18;male;{"id": 1,"ids": [101,102,103],"total_number": 3} user2;20;female;{"id": 2,"ids": [201,202,203,204],"total_number": 4} user3;23;male;{"id": 3,"ids": [301,302,303,304,305],"total_number": 5} user4;17;male;{"id": 4,"ids": [401,402

2021-09-25 18:34:20 1066 1

原创 hive内置函数处理json数据

建表导入测试数据CREATE TABLE IF NOT EXISTS jsont1( username string, age int, sex string, json string )row format delimited fields terminated by ';'; load data local inpath '/data/lagoudw/data/weibo.json' overwrite into table jsont1;内置函数一：get_json_object(

2021-09-23 23:05:56 1411

原创 Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.

启动hive metastore 报错信息如下：org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109) at org.apache.thrift.transport.TSer

2021-09-23 21:50:42 1793 1

原创将时间戳转换为我们熟悉的字符串类型

需求：提取如下json中的time转换成我们熟悉的日期格式{"app_active":{"name":"app_active","json":{"entry":"2","action":"0","error_code":"0"},"time":1595288248066},"attr":{"area":"三门峡","uid":"2F10092A1","app_v":"1.1.0","event_type":"common","device_id":"1FB872-9A1001","os_type":"0.

2021-09-14 22:50:19 510

原创数据仓库基础知识

什么是数据仓库？数据仓库是一个面向主题，集成的，相对稳定的，反映历史变化的而数据集合，用于支持管理决策。数仓的四大特征面向主题的传统的数据库是面向应用的，而数据仓库中的数据是面向主题的主题：是一个抽象概念，是较高层次上企业信息系统中的数据综合，归纳并进行分析利用的抽象。在逻辑意义上，是对应企业中某一宏观分析领域所涉及的分析对象。其中所谓较高层次是相对面向应用的数据组织方式，指按照主题进行数据组织的具有更高的数据抽象级别。集成的数据仓库的数据来源广，可能是从原有的多个数据库，数据文件

2021-09-14 14:47:57 975

原创远程连接时出现身份验证错误，要求的函数不受支持

当用远程连接别人的服务器时显示错误如下经别人的讲解，需要修改加密Oracle修正那么本地组资源管理器在哪里呢？win + r 打开电脑运行的窗口然后输入：gpedit.msc但我按照以上步骤进入之后发现没有修改加密Oracle修正解决办法：随便建一个txt文件，输入一下内容Windows Registry Editor Version 5.00[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Policie

2021-09-06 16:12:52 157

原创 zookeeper笔记

什么是zookeeper？是一个解决分布式集群中应用系统一致性问题的一个分布式协调服务框架，本质是一个分布式的小文件存储系统，提供给客户端监控存储在zk内部数据的功能主要的应用场景：服务注册与订阅（共用节点）分布式通知（监听znode）服务命名（znode特性）数据订阅、发布（watcher）分布式锁（临时节点）zookeeper架构组成zookeeper的三个角色leader:核心组件，事务(写)请求的唯一请求follow:处理非事务(读)请求，转发事务请求到leader，并且

2021-08-22 23:31:02 172

原创 Could not connect to meta store using any of the URIs provided. Most recent failure

过了许久重启了一下hive，输入hive成功进去了，但当我show databasesl时却却显示如下错误：hive.log日志默认位置位于：/tmp/root/hive.log查看日志错误信息如下：我的hive-site.xml如下：<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>&lt

2021-08-22 21:39:10 5010 3

原创 Zookeeper服务器动态上下线监听

思路图示分析Server.javapackage com.lagou.zk.onoffline;import org.I0Itec.zkclient.ZkClient;//服务端提供client需要的要给时间查询服务，服务端向zk建立临时节点public class Server { //创建ZK ZkClient zkClient = null; private void connectZk(){ zkClient = new ZkClient("

2021-08-15 23:47:39 241

原创初学ZK，客户端操作zk创建删除节点记录

package com.lagou.zk.demo;import org.I0Itec.zkclient.ZkClient;public class ZkDemo { public static void main(String[] args) { //获取到zkClient对象，client与zk的通信端口是2181， //配置文件中的288是服务器之间的通信端口，388是服务器间选举端口 ZkClient zkClient = new Z

2021-08-15 23:39:34 771

原创 Zookeeper监听节点/数据变化

监听节点变化监听器可以对不存在的目录进行监听监听目录下子节点发生变化，可以接受到通知，携带数据有子节点列表监听目录创建和删除本身也会被监听到package com.lagou.zk.demo;import org.I0Itec.zkclient.IZkChildListener;import org.I0Itec.zkclient.ZkClient;import java.util.List;public class Get_Child_Change { public sta

2021-08-15 23:36:32 2229

原创 Nginx问题：connect() to 127.0.0.1:8080 failed (13: Permission denied) while connecting to upstream

错误信息：2021/08/05 09:16:07 [crit] 25294#0: *30 connect() to 127.0.0.1:8080 failed (13: Permission denied) while connecting to upstream, client: 192.168.12.10, server: localhost, request: “GET /newmes/company HTTP/1.1”, upstream: “http://127.0.0.1:8080/newm

2021-08-05 09:46:14 1845

空空如也

空空如也