xiaosannimei的博客

原创 基于apache paimon实时数仓全增量一体实时入湖

flink + paimon 全量 + 实时增量的数据入湖

原创 Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)

一、环境准备flink1.13.5flink-cdc 2.1.1hudi-0.10.0spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本)jar包:hudi-spark3-bundle_2.12-0.10.0.jarhudi-flink-bundle_2.11-0.10.0.jarflink-sql-connector-mysql-cdc-2.1.1.jar二、flink-cdc写入hudi1、mysql建表语句creat

原创 flink sql-client.sh 提交到yarn

下载flink安装包解压cd 到安装目录执行一下命令启动集群./bin/start-cluster.sh之后执行启动sql-client命令：./bin/sql-client.sh embedded默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会连接拒绝的错误。如果想.

原创 docker 已有容器配置信息修改--ip变化时如何修改docker 镜像中Kafka容器对应的ip

目前使用的时docker配置的kafka，但是宿主机的IP发生变动，所以kafka的IP也需要变动。因此需要修改配置使得Kafka可以继续使用；首先要停止docker服务;systemctl stop docker然后去对应容器目录cd /var/lib/docker/containers可以看到很多容器目录找到我们要修改的容器进入目录（doker没有关闭之前查看）我们Kafka容器的id；所以进入对应目录 cd fef1caaa553e2d26892c0.

原创 Linux系统调用window系统写的脚本错误

Shell脚本“syntax error: unexpected end of file”原因及处理vim serverDeploy.sh:set fileformat=unix:wq或者直接在Linux重新写一遍

原创 sparkStreaming 中使用累加器遇到的坑

最近使用sparkstreaming是有个场景需要统计入mysql的数据量，因此考虑使用累加器；按照官网使用如下方式： JavaStreamingContext jssc = new JavaStreamingContext (conf, Durations.seconds(3)); LongAccumulator BroadbandArrearsAll = jssc.sparkContext().sc().longAccumulator("BroadbandArrearsAll");然后

原创 flink oom的gc分析

原创 今天在Java程序中读取resources资源下的文件

　　今天在Java程序中读取resources资源下的文件，由于对Java结构了解不透彻，遇到很多坑。正常在Java工程中读取某路径下的文件时，可以采用绝对路径和相对路径，绝对路径没什么好说的，相对路径，即相对于当前类的路径。在本地工程和服务器中读取文件的方式有所不同，以下图配置文件为例：　（1）本地读取资源文件　　Java类中需要读取properties中的配置文件，可以采用文件（F...

原创 Centos 7关闭防火墙

查看防火墙状态firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running） systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动...

原创 虚拟机使用docker 外部机器无法访问端口问题

使用虚拟机启动docker镜像之后，外部宿主机无法访问指定端口服务宿主机是a ,虚拟机是b 。虚拟机没有可视化界面，在b上启动docker服务后发现A不能访问1，排查防火墙firewall-cmd --state如果输出的是“not running”则FirewallD没有在运行，且所有的防护策略都没有启动，那么可以排除防火墙阻断连接的情况了。如果输出的是“running”，表示当...

原创 VMware虚拟机中的centos 7 系统配置静态ip

如何为虚拟机中的linux系统设置静态IP既能访问外网，又能用xshell连接以下教程适用于CentOS7 ，其他linux系统类似1.首先查看自己的网络连接模式我们现在虚拟机中已经安装了一个centos7的linux系统，网络设置选择的是NAT模式，也推荐使用NAT模式。可通过在虚拟机上点击右键，选择“设置”-网络适配器，查看自己的网络连接模式2.进入linxu虚拟机，通...

原创 spark 脚本

#cat /etc/init.d/spark-thriftserver.sh#!/bin/bash# descriptions: This script is using to satrt|stop spark-thriftserverpid=`netstat -tunlp | grep 32500| awk '{print $NF}'|awk -F "/" '{print $1}'`...

原创 hive和spark相关参数列表

("hive.exec.script.wrapper", (Object)null, ""), ("hive.exec.plan", "", ""), ("hive.plan.serialization.format", "kryo", "Query plan format serialization between client a

原创 CDH安装额外组件操作手册

举例Phoenix安装(其他组件类似)一、基本介绍Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表，插入和查询HBASE，也支持二级索引、事务以及多种SQL层优化Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能（更不用说可以少写了很多代码）： 编译你的SQL查询为原生HBase的...

原创 kafka 常用命令示例

 ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list hrs005:9092 --topic metrics./kafka-run-class.sh kafka.tools.DumpLogSegments --files /data4/hyrendata/kafka-logs/metrics-0/00000000000...

原创 spark整合hbase 和hive

spark集成HBASE，查询Hbase映射的hive表（cdh5.10.2）如果要查询hbase映射成hive的表则需要放入集群的hbase-site.xml文件到spark的 ./conf目录下； 同时复制hbase的相关jar包到./lib下面需要的包列表hbase-protocol-1.2.0-cdh5.10.2.jarhbase-client-1.2.0-cdh5.10.2.ja...

原创 源码安装postgresql 手动启动命令

切换到数据库安装目录下/bin/pg_ctl start -D /home/hyshf/HRSDATA/dbserver/HRSPGDATA -l /home/hyshf/HRSDATA/db.log-D 数据存放目录 -l 日志目录

转载 jquery 中substring，substr，split的用法

原文：http://blog.youkuaiyun.com/lijunling2008live/article/details/7402389substring 方法返回位于 String 对象中指定位置的子字符串。strVariable.substring(start, end)"String Literal".substring(start, end)参数s

原创 javascript数组操作

javascript 数组操作1、数组的创建var arrayObj = new Array();　//创建一个数组var arrayObj = new Array([size]);　//创建一个数组并指定长度，注意不是上限，是长度var arrayObj = new Array([element0[, element1[, ...[, elementN]]]]);　创建一个数组并

原创 java io操作总结

【案例1】创建一个新文件   import java.io.*;class hello{    public static void main(String[] args) {        File f=new File("D:\\hello.txt");        try{            f.createNewFile();        }catch (Excepti

转载 java 网络编程

Posted on 2009-12-03 18:04 火之光 阅读(69273) 评论(17) 编辑 收藏网络编程         网络编程对于很多的初学者来说，都是很向往的一种编程技能，但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习。         在 学习网络编程以前，很多初学者可能觉得网络编程是比较复杂的系统工程，需要了解很多和网络

转载 Java多线程学习心得

java中的多线程在java中要想实现多线程，有两种手段，一种是继承Thread类，另外一种是实现Runable接口。对于直接继承Thread的类来说，代码大致框架是：123456789101112class 类名 extends Thread{方法1;方法2；…public void 

转载 有关于Tachyon的特性

Tachyon新特性(0.5.0之后)•Tiered Storage 层次化存储–支持MEM、SSD、HDD的多层次存储•更方便的部署方式–一键部署在VirtualBox或Amazon Web Services 上•更多的底层存储系统–OpenStack Swift，IBM SoftLayerobject store, Native S3•更清晰的代码结构–模块化，

转载 Hadoop—Hadoop1.X和2.X安装

Hadoop第1~2周练习—Hadoop1.X和2.X安装1    练习题目2    HADOOP1.X安装2.1    准备工作2.1.1   硬软件环境2.1.2   集群网络环境2.1.3   安装使用工具2.2  环境搭建2.2.1   安装操作系统2.2.2   配置本地环境2.2.3   设置操作系统环境2.3    Hadoop变量