- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 查看计算机CPU核心数和线程数
一、Windows下查看计算机CPU核心数打开如下窗口：运行命令：cpu get numberofcores想看更详细的信息，可运行命令：cpu get *（注意空格）二、Linux下查看计算机CPU核心数运行命令：cat /proc/cpuinfo三、查看计算机CPU线程数右击计算机——》管理——》设备管理器这里查看到的CPU核心个数是8个，但应该是超线程，不是物理的8核心，实际上只有4核，所以可以认为该计算机CPU线程数是8。综上可知：该计算机CPU就是四核八线程！...
2021-03-05 16:35:31
5879
原创 Informatica ETL开发入门实例
Informatica 客户端工具：5个Designer——定义源及目标结构设计转换规则，生成ETL映射Repository Manager——元数据资料库，依赖性分析，安全性管理等Repository Server Administrator Console——Repository的建立与维护Workflow Manager——合理的实现复杂的ETL工作流基于时间或事件的作业高度Workflow Monitor——监控workflow和session，生成工作日志及报告...
2021-01-19 17:45:21
1895
原创 Flink数据类型&&序列化&&序列化器
背景：在Java和大数据生态圈中，已有不少序列化工具，比如：1、Java自带的序列化工具、Kryo等。2、一些RPC框架也提供序列化功能，比如：（1）最初用于Hadoop的【Apache Avro】（2）Facebook开发的【Apache Thrift】（3）Google开发的【Protobuf】这些工具在速度和压缩比等方面与JSON相比有一定的优势。但是Flink依然选择了重新开发了自己的序列化框架，因为序列化和反序列化将关乎整个流处理框架个方便的性能，对数据类型了解越多，可以更早地完.
2021-01-18 12:36:35
1548
原创 Informatica服务配置【存储库服务&集成服务】
背景：使用 Informatica 进行ETL开发的前提：【Informatica服务端】需要事先配置好了【存储库服务】和【集成服务】，这样【Informatica客户端】才能连接上【Informatica服务端】进行ETL开发！1、存储库服务步骤：【操作】—>【新建】—>【PowerCenter存储库服务…】2、集成服务步骤：【操作】—>【新建】—>【PowerCenter集成服务…】稍等一会，会弹出如下弹框，代码页选择 MS Windows Simpl.
2021-01-14 17:04:05
2193
原创 Informatica Client端安装【Windows版本】
一、安装前准备工作1、下载软件包参考：https://blog.youkuaiyun.com/qq_36448452/article/details/1125817432、解压软件包，解压961_Client_Installer_win32-x86.zip文件，解压至961_Client_Installer_win32-x86文件中3、打开961_Client_Installer_win32-x86文件，双击install.bat文件开始进行安装……二、开始安装1、双击install.bat文件执行安装
2021-01-14 14:35:42
2241
1
原创 Informatica Server端安装【Windows版本】
一、安装前准备工作在安装Informatica之前，需先确保已安装Oracle1、在Oracle中创建两个用户（1）infa_repo：普通用户（2）infa_domain：域用户CMD登录oracle：C:\Users\Admin>sqlplus / as sysdbaSQL*Plus: Release 11.2.0.1.0 Production on 星期三 1月 13 18:31:48 2021Copyright (c) 1982, 2010, Oracle. All
2021-01-14 12:28:14
2337
1
原创 Oracle11g安装【Windows版本】
软件包下载地址：https://edelivery.oracle.com/osdc/faces/SoftwareDelivery注：需要先登录Oracle账户，无Oracle账户的注册一个即可！选择相应版本的软件包：下一步：下一步：下一步：下一步：下一步：打开database目录，双击setup.exe，开始进行安装……执行安装程序后会出现如下的命令提示行：下一步：稍等片刻开始加载：稍微等待一会，就会出现如下图所示的安装画面，取消下图所示的选中，然后点击下一步：
2021-01-13 13:54:59
1749
原创 使用druid连接池遇到的问题
使用druid连接池遇到的问题：一月 06, 2021 3:09:50 下午 com.alibaba.druid.pool.DruidAbstractDataSource info信息: {dataSource-102} failContinuous is true一月 06, 2021 3:09:50 下午 com.alibaba.druid.pool.DruidDataSource error严重: create connection SQLException, url: jdbc:mysql:
2021-01-06 15:37:39
4585
原创 flink开发遇到的问题总结
flink开发遇到的问题总结问题1：Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in the classpath.org.apache.flink.table.factories.
2021-01-04 12:20:39
1095
原创 Kafka如果丢了消息，怎么处理的?
Kafka如果丢了消息，怎么处理的?注：本文转载自此处Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。一、Broker丢失消息Broker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采用了批量刷盘的做法。即，按照一定的消息量，和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。将数据存储到linux操作系统中，会先存储到
2020-12-23 13:30:04
471
原创 Linux下MySQL安装【一步到位】
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpmrpm -ivh mysql57-community-release-el7-8.noarch.rpmyum install mysql-serversystemctl stop firewalldsystemctl disable firewalldsystemctl start mysqldsystemctl status mysqldgrep '
2020-11-11 13:55:44
90
原创 记kafka-manager踩过的一个大坑
记kafka-manager踩过的一个大坑踩过一个大坑：Yikes! Ask timed out on[ActorSelection[Anchor(akka://kafka-manager-system/),Path(/user/kafka-manager/kafka007/kafka-state)]] after [2000 ms]如下图所示：原因：解决：
2020-10-30 15:09:17
3278
原创 集群启动脚本
jps集群启动脚本：jpsall.sh#!/bin/bash for ip in flink01 flink02 flink03do echo "------------------------------[ jps $ip ]-------------------------" ssh root@$ip "source /etc/profile;jps"donezookeeper集群启动脚本：zk.sh#!/bin/bashcase $1 in"start"){
2020-10-21 11:04:39
467
原创 flink standalone模式部署【高可用】
Common【普通】------------------------------------------------------jobmanager.rpc.address: localhostjobmanager.rpc.port: 6123jobmanager.memory.process.size: 1600mtaskmanager.memory.process.size: 1728mtaskmanager.numberOfTaskSlots: 1parallelism.default:
2020-10-21 10:10:16
1825
原创 zookeeper集群启动报错
zookeeper集群启动报错[root@flink01 zookeeper-3.4.6]# bin/zkServer.sh statusJMX enabled by defaultUsing config: /opt/soft/zookeeper-3.4.6/bin/../conf/zoo.cfgError contacting service. It is probably not running.解决：集群模式的前提下，要多台机器同时启动起来，才能看到leader和followerle
2020-10-16 15:27:37
413
原创 flink流处理测试程序
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
2020-10-12 10:59:18
792
原创 Anaconda3部署Jupyter Notebook
注：本章节不会细讲，详情可参考官方文档！另外，如果网络不佳，推荐使用Anaconda的方式安装，不推荐使用pip的方式安装！1.Anaconda的安装教程【官方】Linux版：https://docs.anaconda.com/anaconda/install/linux/Windows版：https://docs.anaconda.com/anaconda/install/windows/2.软件包下载地址【官方】Linux版：https://repo.anaconda.com/a.
2020-09-22 10:38:01
685
原创 window下的MySQL问题
用SET PASSWORD命令1.打开终端win+r，输入cmd回车即可打开；2.通过mysql -u用户名 -p密码登录MySQL；3.修改MySQL的root用户密码，格式：mysql> set password for 用户名@localhost = password(‘新密码’)。例子：mysql> set password for root@localhost = p...
2019-05-23 17:58:52
158
原创 面向对象——内部类（4种）
在Java中，允许在一个类的内部定义类，这样的类称为“内部类”，这个内部类所在的类称为“外部类”。根据内部类的位置、修饰符和定义方式的不同，内部类可以分为以下4种形式：（1）成员内部类（2）局部内部类（3）静态内部类（4）匿名内部类（比较难懂）...
2019-05-13 02:38:38
609
原创 vi或vim命令（操作技巧）
vi命令编辑模式：用i或a进入 Ctrl+空格切换输入法命令模式：（默认值） 用esc键进入 :w 保存q 退出！强制ZZ 直接退出/xx 查找xx n 下一个 N 上一个VIM 查找和替换功能
2019-05-12 18:53:06
201
原创 性能测试——响应时间
性能测试——响应时间大部分资料都是说：“响应时间=网络响应时间+应用程序响应时间”诸如此类的解释，一时间让人摸不着头脑。其实可以换个角度去理解这个概念。首先从大方向可以把一个系统分为【前端】与【后端】，而响应时间也可以按照这个划分来理解，如下图：可以清楚地看出在【没有缓存】的情况下，一个请求发出去之后，需要经过网络传输、DNS解析等步骤才能到达服务器，服务器处理完之后，经由网络传输返回客户...
2019-05-12 18:52:51
5068
原创 HTTP 状态码及其含义
2xx 成功200 正常；请求已完成。201 正常；紧接 POST 命令。202 正常；已接受用于处理，但处理尚未完成。203 正常；部分信息 — 返回的信息只是一部分。204 正常；无响应 — 已接收请求，但不存在要回送的信息。——————————————————————————————3xx 重定向301 已移动 — 请求的数据具有新的位置且更改是永久的。30...
2019-05-12 18:51:44
110
原创 xampp+bugfree环境搭建
一、XAMPP搭建：1、在Xftp中将XAMPP可执行文件粘贴到虚拟机的/opt目录中2、赋予属主对文件的全部权限：chmod u+rwx文件名3、在/opt目录中运行XAMPP可执行文件：./文件名4、为XAMPP中的Apache服务开启80端口并重启iptables：[root@mini ~]#vim /etc/sysconfig/iptables在文件中间添加一项：-A IN...
2019-05-12 18:48:16
652
原创 JDK+Tomcat+MySQL环境搭建
环境搭建的顺序按如下讲解进行：一、JDK搭建：1、在Xftp中将jdk1.8.0_131包粘贴到虚拟机的/opt/soft目录中2、在/opt/soft目录中解压JDK包：tar -xzvf 包名3、在profile文件末尾插入环境变量：vim /etc/profile在文件末尾的位置，用编辑模式粘贴环境变量数据：export JAVA_HOME=/opt/soft/jdk1.8.0_...
2019-05-12 18:47:36
1922
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人