
● 消息/数据/存储/应用
文章平均质量分 83
LinJie98
开源 分享 快乐
展开
-
Flink ParameterTool fromArgs源码分析
一、源码路径java/org/apache/flink/streaming/examples/socket/SocketWindowWordCount.java二、源码/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See...原创 2020-03-04 16:02:38 · 3694 阅读 · 0 评论 -
DataStream与DataSet
DataStream与DataSetFlink具有特殊类DataStream与DataSet,这两者是flink中主要的数据源,根据数据源可分为有界源和无界源,而DataStream则是无界源,DataSet是有界源,也就是说DataStream常用于流处理,而DataSet用于批处理。DataStream APIDataStream Sources(数据来源)DataStream...原创 2020-03-03 14:19:03 · 1741 阅读 · 0 评论 -
MyFlink-doc
MyFlink-doc个人github文档地址:https://github.com/ash-ali/MyFlink-docMyFlink-doc是笔者对Apache Flink一些核心内容进行编写相关的demo以及对一些核心知识通过md形式进行阐述,目的是为了帮助一些初学Flink的同学通过demo以及doc能快速入门仓库目录介绍src :笔者自己编写的相关demo代码doc :...原创 2020-02-28 18:25:57 · 549 阅读 · 0 评论 -
Flink 任务打包、提交
一、Flink版本flink-1.6.1-bin-hadoop26-scala_2.11二、Flink任务打包笔者将写好的flink计算任务代码发到服务器(ubuntu16.04),在服务器端进行任务的打包1、将项目工程导入服务器中(mac下)scp -r flink-project root@服务器ip:/wingcloud4/2、将flink源码下的tools文件导入...原创 2020-01-15 09:28:51 · 3048 阅读 · 1 评论 -
logstash-input-jdbc增量、全量数据同步
一、场景笔者在mysql数据同步到ES中,发现第一次同步时需要全量的数据,之后则需要定时去同步增量数据,所以笔者提供增量和全量同步的conf供读者参考二、解决方案1、全量数据同步具体如何执行可参考https://blog.youkuaiyun.com/w_linux/article/details/84555506,这里提供conf的配置input { jdbc { jdbc...原创 2018-11-27 17:37:05 · 6379 阅读 · 2 评论 -
Elasticsearch安装与启动
一、场景简述搜索引擎技术在大数据时代背景下越来越体现其强大之处,而Elasticsearch全文搜索引擎占据了搜索引擎技术的半壁江山,笔者就关于Elasticsearch安装与启动展开Elasticsearch系列的文章。二、场景实现1、安装笔者安装的是5.4.2,所有需要JDK1.8+安装路径(选择zip):https://www.elastic.co/downloads...原创 2018-08-25 21:20:13 · 2088 阅读 · 0 评论 -
Elasticsearch浅尝搜索
一、场景简述既然是说Elasticsearch全文搜索引擎,那么笔者就在Elasticsearch中的一些简单的搜索来入门Elasticsearch,借用官网的一句话“你知道的,为了搜索...”二、场景实现进行搜索前,先下载安装Sense,可参考该篇文章https://www.cnblogs.com/cnjavahome/p/9124584.html当然!记得启动Elasticse...原创 2018-08-29 22:46:13 · 549 阅读 · 0 评论 -
实现MySQL数据同步到ElasticSearch中
一、场景笔者最近在写全文搜索引擎服务,用到的是ElasticSearch框架,该篇博客就如何实现MySQL数据同步到ES中进行阐述二、解决方案运行系统:mac系统下采用到的技术:ES2.4、logstash-2.4.1用到的相关插件:ES-head、logstash-input-jdbc、logstash-output-elasticsearch其安装该篇博客就不多做阐述。...原创 2018-11-26 20:31:39 · 4782 阅读 · 0 评论 -
MySQL错误:Can't create table‘..’ (errno:150)解决方案
场景含有学生表s(sno,sname,sage)、课程表c(cno,cname)选课表(sc)创建时,设置(sno,cno)为主键、sno和cno为外键drop table if exists sc1;create table sc1( sno varchar(10), cno varchar(10), grade numeric, primary k...原创 2018-05-17 22:22:51 · 54702 阅读 · 3 评论 -
Spring JdbcTemplate解决MySQL的check约束无效
场景分析在MySQL中如果要检查某个字段的值是否在指定区间,或许有些伙伴会想到check约束,但是在MySQL中check约束是无效的,所以该篇博客将要解决在MySQL中check无效的问题解决方案因为MySQL无法使用check约束,那么只能在业务逻辑中自己编码来实现约束1、首先模拟出一张数据表,方便测试mysql> use sms;Database changed...原创 2018-05-12 14:24:49 · 510 阅读 · 0 评论 -
MySQL单表查询练习笔记(选课)
表目录mysql> show tables;+-------------------+| Tables_in_student |+-------------------+| c || s || sc |+-------------------+课程表 ——c学生表——...原创 2018-04-10 20:01:48 · 869 阅读 · 0 评论 -
MySQL——索引(index)了解
一、什么是索引index索引相当于一本数的目录,索引作用:提高程序的检索效率二、主键自动添加索引 能通过主键查询,尽量用主键查询,效率高三、索引与表关系 索引和表相同,都是一个对象,表是存在于硬盘文件中,那么索引是表的一部分,索引也是存储在硬盘中四、MySQL中,对表中记录进行检索的几种方式1、全表扫描(效率低)2、...原创 2018-03-24 18:57:57 · 704 阅读 · 0 评论 -
MySQL——事务(Transaction)详解
该博客详解MySQL中的事务一、事务定义Transaction事务:一个最小的不可再分的工作单元;通常一个事务对应一个完整的业务(例如银行账户转账业务,该业务就是一个最小的工作单元)一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成事务只和DML语句有关,或者说DML语句才有事务。这个和业务逻辑有关,业务逻辑不同,DML语句的个数不同...原创 2018-03-23 13:05:50 · 239635 阅读 · 47 评论 -
MySQL——约束(constraint)详解
该博客说说关于数据库中一个重要的知识点——约束一、什么是约束 约束英文:constraint 约束实际上就是表中数据的限制条件二、约束作用 表在设计的时候加入约束的目的就是为了保证表中的记录完整和有效比如name字段中要让其用户名不重复,这就需要添加约束。或者必须注册的时候需要添加邮箱等三、约束种类非空约束(not...原创 2018-03-22 15:40:04 · 179907 阅读 · 32 评论 -
MySQL——表数据(增/删/改)、表结构(字段)(增/删/改)、表的复制、now()方法
博客目录1、增\删\改——表结构DDL(alter add、alter modify、alter drop)————字段操作2、增\删\改——表数据DML(insert、delete、update)————表中数据3、获取系统当前时间 now()4、表的复制(快速创建表,并插入数据)该博客对如下表操作 mysql> desc t_user;...原创 2018-03-21 21:10:52 · 534 阅读 · 0 评论 -
MySQL——union(合并结果集)、limit(获取部分数据)、关于MySQL中常用数据类型
博客目录1、union(合并结果集)2、limit(获取一张表中某部分数据)3、表——创建表、删除表4、关于MySQL中的数据类型一、union(合并结果集) 将两个查询结果合并(可以是不同表) 注意:MySQL要求字段数量相同mysql> select ename,job from emp where job="clerk...原创 2018-03-21 20:11:44 · 4606 阅读 · 0 评论 -
MySQL——分组函数、distinct、分组查询、连接查询、子查询
博客目录1、分组函数2、distinct3、分组查询(group by、having)4、一个完整的DQL语句的总结5、连接查询(跨表查询)(关联多个表查询)6、子查询一、分组函数1、 会自动忽略空值2、 分组函数不能直接使用在where关键字后面取平均值:avgmysql> select avg(sal)...原创 2018-03-21 19:11:25 · 2927 阅读 · 0 评论 -
MySQL——SQL语言分类、查询、数据排序/处理、日期处理
花了点时间学完MySQL,打算写下关于MySQL基础博客,一方面巩固一下,另一方面就是希望能够帮助需要的人博客目录1、MySQL版本、登录、启动/关闭服务2、SQL语言分类3、MySQL常用命令4、查询(DQL)(简单查询、条件查询)5、排序数据(order by)6、数据处理函数/单行处理函数7、MySQL中的日期处理...原创 2018-03-19 22:39:38 · 760 阅读 · 0 评论 -
MySQL 联级删除(on delete cascade)应用
场景有一张c1表 c1表中的字段如下cno :课程号cname:课程名称cpno:先行课credit:学分需求将某一课程删除之后,将删除以这一课程为先行课的所有课程解决方案将cpno设置为外键,引用的是自身表的cno 使用联级删除(on delete cascade),在外键约束时添加如果没有使用联级删除(on delete cascade),...原创 2018-05-18 22:28:26 · 47829 阅读 · 4 评论