<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ck978105293的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ck978105293</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ck978105293]]></copyright><item><title><![CDATA[复杂风控场景（反洗钱）下，一些sql解决方案]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/139765692</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/139765692</guid><author>ck978105293</author><pubDate>Tue, 18 Jun 2024 13:26:09 +0800</pubDate><description><![CDATA[反洗钱风控场景sql解决方法]]></description><category></category></item><item><title><![CDATA[CentOS搭建NFS]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/115115016</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/115115016</guid><author>ck978105293</author><pubDate>Tue, 23 Mar 2021 11:51:01 +0800</pubDate><description><![CDATA[nfs – 网络存储
架构介绍

NFS概述
网络文件系统（Network File System，NFS），一种使用于分散式文件系统的协议，由Sum公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在Unix系统间实现磁盘文件共享的一种方法。 NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。 NFS基于]]></description><category></category></item><item><title><![CDATA[CentOS安装k8s1.19]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/110654970</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/110654970</guid><author>ck978105293</author><pubDate>Fri, 04 Dec 2020 16:17:54 +0800</pubDate><description><![CDATA[一、系统环境准备（所有节点）
1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

2.关闭 selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时

3.关闭 swap
swapoff -a # 临时
sed -ri 's/.*swap.*/#&amp;/' /etc/fstab    # 永久

4.修改主机名
hostname]]></description><category></category></item><item><title><![CDATA[Hbase删除命名空间脚本]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/109047528</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/109047528</guid><author>ck978105293</author><pubDate>Tue, 13 Oct 2020 11:27:47 +0800</pubDate><description><![CDATA[Hbase没办法直接删除namespace，需要先把命名空间下的表都删了才能删除，网上没找到现成的脚本，所以自己写了个，如果有问题，欢迎指出来。
运行时需要传入namespace的名称。
#!/bin/bash
#读取命名空间下的所有表名
list_tables(){
/opt/newland/core/hbase/bin/hbase shell &lt;&lt; EOF
list_namespace_tables "$1"
EOF
}
#删除该命名空间下的表
drop_tables(){
/opt/new]]></description><category></category></item><item><title><![CDATA[将kylin嵌入iframe]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108622395</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108622395</guid><author>ck978105293</author><pubDate>Wed, 16 Sep 2020 15:02:21 +0800</pubDate><description><![CDATA[kylin version 2.6.6
vim tomcat/conf/web.xml

加入关于X-Frame-Options的filter配置，从而允许跨域的iframe的请求。
&lt;filter&gt;
        &lt;filter-name&gt;httpHeaderSecurity&lt;/filter-name&gt;
        &lt;filter-class&gt;org.apache.catalina.filters.HttpHeaderSecurityFilter&lt]]></description><category></category></item><item><title><![CDATA[利用动态分区、full join以及coalesce函数将ODS层数据处理成DWD层数据]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108536151</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108536151</guid><author>ck978105293</author><pubDate>Fri, 11 Sep 2020 16:20:50 +0800</pubDate><description><![CDATA[ods层数据抽取请参考我的另一篇文章
sqoop自定义日期采集数据脚本
假设在已经导入ODS层的情况下，我现在需要生成一张对应的DWD层表，即不重复的最新数据的表，因为ODS层默认导入的是昨天一天内更新的数据，而我们的分区是create_time转换的日期，所以我们需要更新DWD层里面对应的老数据以及添加昨天的新数据。
下面的表名字段名等都是例子，不规范，请按自己公司的标准命名。
set hive.default.fileformat=Orc;
set hive.exec.dynamic.partition]]></description><category></category></item><item><title><![CDATA[sqoop自定义日期采集数据脚本]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108535115</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108535115</guid><author>ck978105293</author><pubDate>Fri, 11 Sep 2020 15:43:35 +0800</pubDate><description><![CDATA[#!/bin/bash
source /etc/profile
date1=$1
date2=$2

if [ ! -n "$1" ] ;then
    echo "请输入起始日期"
fi

if [ ! -n "$2" ] ;then
    echo "请输入结束日期"
fi

#hive配置
#账号名
account=root
#hive的数据库名
hive_database=trade_ods
#hive的表明
hive_table=trade
#昨天的日期，作为分区
yestday=`date ]]></description><category></category></item><item><title><![CDATA[Kylin使用LDAP登入认证、添加角色授权]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108345529</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108345529</guid><author>ck978105293</author><pubDate>Tue, 01 Sep 2020 17:13:18 +0800</pubDate><description><![CDATA[文章目录一、编辑kylin.properties1.通过kylin的内部方法生成LDAP加密的密码2.修改kylin.properties二、通过phpldapadmin增加对应的组和人
一、编辑kylin.properties
Kylin version 2.6.6
1.通过kylin的内部方法生成LDAP加密的密码
cd $KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib
java -classpath kylin-server-base-\&lt;versioin]]></description><category></category></item><item><title><![CDATA[ElasticSearch与LDAP的安装和安全认证]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108334905</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108334905</guid><author>ck978105293</author><pubDate>Tue, 01 Sep 2020 11:56:01 +0800</pubDate><description><![CDATA[文章目录一、使用Docker安装ES和Kibana1.创建网络2.安装ES3.安装Kibana4.汉化Kibana二、使用Docker安装openLDAP和phpldapadmin1.安装openLDAP2.安装phpldapadmin3.验证是否安装成功三、破解ES XPack1.将复制到自己机器上2.使用反编译工具luyten打开（其他的应该也行）3.将编辑好的文件传回docker容器里4.进入ES容器5.申请License6.加载License四、ES与LDAP的认证1.编辑elasticsearch]]></description><category></category></item><item><title><![CDATA[CentOS和Ubuntu安装官网Docker]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/108337337</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/108337337</guid><author>ck978105293</author><pubDate>Tue, 01 Sep 2020 11:24:05 +0800</pubDate><description><![CDATA[安装官网docker
文章目录安装官网docker一、centos1.安装yum拓展工具2.添加官网docker源3.查看软件版本4.安装指定的版本5.设置开机启动二、ubuntu1.更新2.安装支持工具3.下载认证4.添加仓库数据5.安装
一、centos
1.安装yum拓展工具
yum install -y yum-utils device-mapper-persistent-data lvm2

2.添加官网docker源
yum-config-manager --add-repo https://d]]></description><category></category></item><item><title><![CDATA[开源大数据开发平台DataSphereStudio&Linkis踩坑记录]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/106636335</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/106636335</guid><author>ck978105293</author><pubDate>Tue, 09 Jun 2020 10:59:50 +0800</pubDate><description><![CDATA[DataSphere Studio（DSS）是微众银行开源的一站式大数据开发平台，开源于19年7月左右，目前市面上只发现这一个产品，，基于公司需求，我们调研后发现基本满足现有的需求，于是安装，安装过程踩了些坑，记录分享下。

环境：

centOS7

DSS 0.7.0

Linkis 0.9.3

1.spark任务请求资源报错，版本不兼容

微众使用的hadoop版本是2.7.2，spark使用的是2.4.3，spark内hadoop的相关的包是2.7.3版本，在安装成功后请求spar...]]></description><category></category></item><item><title><![CDATA[centOS 7安装Ambari2.6.2 HDP2.6.5 大数据集群搭建]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/106497234</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/106497234</guid><author>ck978105293</author><pubDate>Tue, 02 Jun 2020 17:03:41 +0800</pubDate><description><![CDATA[本文基于root用户操作

一、安装环境准备

操作系统 centos7.6

三台服务器以上


	主机名IP映射配置

	
vi /etc/hosts
#添加如下地址映射及FQDN（ambari注册时需要）
192.168.133.XX nl-bd1
192.168.133.XX nl-bd2
192.168.133.XX nl-bd3

	
	
	配置ip,修改ifcfg-ens192
	
vi /etc/sysconfig/network-scripts/ifcfg-ens192

	
#修改为
.]]></description><category></category></item><item><title><![CDATA[linux centOS7安装mysql5.7]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/106496573</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/106496573</guid><author>ck978105293</author><pubDate>Tue, 02 Jun 2020 15:23:38 +0800</pubDate><description><![CDATA[下载tar包，这里使用wget从官网下载

	
wgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

	
	
	
	将mysql安装到/usr/local/mysql下

	# 解压

	
tar -xvfmysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

	# 移动

	
mvmysql-5.7.22-linux-glibc2...]]></description><category></category></item><item><title><![CDATA[使用Apache Atlas结合CDH管理hive元数据，以及beeline的hive-hook问题的解决]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/101755902</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/101755902</guid><author>ck978105293</author><pubDate>Mon, 30 Sep 2019 11:22:50 +0800</pubDate><description><![CDATA[编译。
	在官网下载好需要的包之后进行编译，这部分基本看官方安装文档就行。需要注意的是maven版本3.6以上的话，1.1和1.0编译会报错，本人亲试。1.2和2.0两个版本个人体验好像没什么差别，只有配置文件有点不一样（2.0是hbase2），其他地方都一样，连官网的文档都一样。一开始装2.0出错以为是版本问题，之后装的是1.2版本。另外我使用的是集群已有的ES和hbase，不用solr。下面是...]]></description><category></category></item><item><title><![CDATA[批量备份mysql数据库以及将mysql建表语句改为hive建表语句]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/97278094</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/97278094</guid><author>ck978105293</author><pubDate>Thu, 25 Jul 2019 17:47:37 +0800</pubDate><description><![CDATA[#!/bin/bash

############功能说明部分#######################################
#脚本功能是按照每天对mysql数据库中所有表进行备份，备份文件为：数据库名-表名.sql
#实例：backup/2016-08-25/uic-test.sql
#测试数据还原实例：mysql -uroot -pprism%didi%dev%135 -h...]]></description><category></category></item><item><title><![CDATA[本地jar包上传到nexus repository manager（maven私服仓库）]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/84558097</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/84558097</guid><author>ck978105293</author><pubDate>Mon, 26 Nov 2018 23:07:32 +0800</pubDate><description><![CDATA[  最近需要往公司自己搭建的maven上传jar包，搜了很多，最后成功了，分享一下。

首先，修改自己本地maven的setting.xml配置文件，用户名和密码填公司私服仓库登入的账号密码。


&amp;lt;servers&amp;gt;
       &amp;lt;server&amp;gt;
            &amp;lt;id&amp;gt;nexus-snapshots&amp;lt;/id&amp;gt;
            &amp;l...]]></description><category></category></item><item><title><![CDATA[sqoop每天增量脚本]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/81811144</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/81811144</guid><author>ck978105293</author><pubDate>Sat, 18 Aug 2018 17:38:49 +0800</pubDate><description><![CDATA[#!/bin/bash
cur_date=`date +%Y-%m-%d`
table=pay
datebase=ods
hive_table=pay
dir=bigdata/public/ods
if hdfs dfs -test -e /$dir/$table
then
    dates=$(hdfs dfs -ls /$dir/$table)
    lastest=$(...]]></description><category></category></item><item><title><![CDATA[kylin安装以及遇见到的一些问题和解决方法]]></title><link>https://blog.youkuaiyun.com/ck978105293/article/details/81115419</link><guid>https://blog.youkuaiyun.com/ck978105293/article/details/81115419</guid><author>ck978105293</author><pubDate>Thu, 19 Jul 2018 15:02:14 +0800</pubDate><description><![CDATA[环境:

三台hadoop集群,hive,hbase,zookeeper

三台机器内网互相通信,配置有一个外网ip,使用nginx端口映射

kylin安装:
安装部分参考文档:
https://blog.youkuaiyun.com/seashouwang/article/details/77869773
https://www.cnblogs.com/itboys/p/6322421.html
1.从官...]]></description><category></category></item></channel></rss>