- 博客(14)
- 收藏
- 关注
RSS订阅原创 SparkStreaming消费kafka数据报错 object not serializable
sparkstreaming消费kafka数据报错记录
2023-03-11 22:08:15
484
原创 Linux 获取日期参数
Linux上获取各日期参数1、当前日期sysdate=`date +%Y%m%d` 2、本月初first_day=`date -d"${sysdate}" +%Y%m01`3、上月末last_mon=`date -d"${first_day} last day" +%Y%m%d`4、上年末last_year=`date -d"${sysdate} last year" +%Y1231`5、上季度末curr_month=`date -d"${sysdate}" +%_m`curr
2022-05-10 14:27:48
2754
原创 hive -f 报错 FAILED:ParseException line 1:5 cannot recognize in ‘set‘ ‘hive‘ ‘.‘ instatement
如何处理hive执行BOM头文件报错的问题
2022-05-06 16:34:09
2730
原创 hive 导出数据并指定分隔符
需求：使用beeline，将hive数据导出到本地服务器，TXT 格式，分隔符为‘|+|’。实现实现方式分为两种：1、insert overwrite 将结果导出到文件，并指定分隔符举例：insert overwrite local directory ‘/home/data/test.txt’row format delimitedfields terminated by ‘|+|’select * from table;2、hive -f 或者hive-ebeeline -u jdb
2022-05-06 13:48:45
6383
原创 Docker从0到1
一、Docker简介及安装Docker 是一种运行于 Linux 和 Windows 上的软件，用于创建、管理和编排容器。Docker架构镜像（Image）：Docker 镜像（Image），就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。容器（Container）：镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实
2022-04-02 14:28:34
1656
原创 ftp服务及客户端安装
问题：需要用ftp向其他服务器传输文件，但是出现如下报错。bash: ftp: command not found解决：1、查看是否安装ftp服务rpm -qa |grep vsftpd如果没有安装的话，直接用yum安装ftp服务yum install vsftpd安装成功后，将ftp服务打开（默认是关闭的）service vsftpd start查看服务状态service vsftpd status2、安装ftp客户端（根据机器选择对应的rpm文件）下载安装文件http://rp
2022-03-11 11:37:18
2298
原创 Idea中查看Scala源码
1、下载源码https://www.scala-lang.org/download/2.11.12.html2、解压源码文件3、File->Project Structure->Global Libraries->选择目标sdk->选中右侧source，点击加号,选择加压后的源码文件夹点击ok点击apply,就可以了。...
2022-03-02 17:02:22
928
原创 hive中string和varchar数据类型，性能方面的差异？
在hive默认情况下，string被映射到varchar(32762),这意味着如果值超过32762，则该值将被截断如果数据不需要存储的最大varchar长度（例如，该列永远不会超过100个字符），那么它会为处理该列分配不必要的资源string数据类型的默认行为是将类型映射到varchar的SQL数据类型（32762），默认行为可能导致性能问题。...
2021-09-15 15:34:34
4735
原创 Datax学习及简单使用
文章目录一、初识Datax1、Datax是什么？2、Datax支持哪些数据源？3、Datax与Sqoop的选择二、Datax架构1、Datax设计理念2、Datax框架设计3、Datax核心插件4、Datax核心架构一、初识Datax1、Datax是什么？ Datax是阿里巴巴开源的异构数据源离线同步工具，致力于实现关系型数据库，如Oracle、MySQL等，HDFS、Hive、HBASE、MongoDB、Es、FTP等各种异构数据源之间数据同步功能的稳定高效的实现。2、Datax支持哪些数
2021-05-14 16:42:09
890
1
原创 Windows环境下安装Datax
@[toc]Windows环境下安装Datax一、所需环境Windows系统电脑、Python2（Python3有特殊处理）二、安装Datax1.下载Datax百度网盘：链接: https://pan.baidu.com/s/1HM8zRYTekws0pWv6rKLNiQ提取码: hscp下载完成后解压即可三、验证是否争取安装1.打开cmd界面Win+R2.设置代码页编号输入CHCP 65001 防止中文乱码3.切换到Datax安装目录切换到安装目录下的bin目录代码：d:
2021-05-14 14:16:52
955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人