Flink 主要应用场景有三类：1.Event-driven Applications【事件驱动】2.Data Analytics Applications【分析】3.Data Pipeline Applications【管道式ETL】Event-driven Applications上图包含两块：Traditional transaction Application（传统事务应用）和Event-driven Applications（事件驱动应用）。Tradition...

1.跨域问题的由来何谓同源:URL由协议、域名、端口和路径组成，如果两个URL的协议、域名和端口相同，则表示它们同源。浏览器的同源策略，从一个域上加载的脚本不允许访问另外一个域的文档属性，是浏览器上为安全性考虑实施的非常重要的安全策略。举个例子：比如一个恶意网站的页面通过iframe嵌入了银行的登录页面（二者不同源），如果没有同源限制，恶意网页上的javascript脚本就可以在用户登录银行的时候获取用户名和密码。2.跨域的影响范围在浏览器中，此外父页面js操作不同域的iframe属性时，.

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：　　未配置之前使用beeline的话，每次都要为连接输入用户名密码，较为麻烦；　　实现目标：在非集群节点上敲beeline命令，直接进入到hive的命令行1，在hive服务的安装节点的hive-site.xml配置文件中添加以下配置，配置beeline的远程访问用户名和密码 hive.serv...

1.启动Hadoop，hive，mysql2.在mysql中建表（需要导入数据的）mysql> CREATE TABLE `dbtaobao`.`user_log` (`user_id` varchar(20),`item_id` varchar(20),`cat_id` varchar(20),`merchant_id` varchar(20),`brand_id` varchar(20), `month` varchar(6),`day` varchar(6),`action` varc

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入到mysql对应的表中。两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下：1.全部导入Sqoop export --connectjdbc:mysql://127.0.0.1:3306/dbname--usernamemysql(mysql用户名) --password123...

需求：在某一张 hive 表中需要有一列去唯一标识某一行，有些类似于MySQL中的自增IDrow_number() SELECT row_number() OVER(ORDER BY RAND()) AS sample_key1结果UUID SELECT regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") AS sample_key1结果两种方法对比：使用 row_numb

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。如果为textfile的文件格式，直接load就OK，不需要走MapReduce；如果是其他的类型就需要走MapReduce了，因为其他的类型都涉及到了文件的压缩，这需要借助MapRedu.

hive表新增字段，修改字段的注释（1）创建测试表：use mart_flow_test;create table if not exists mart_flow_test.detail_flow_test(union_idstringcomment '设备唯一标识') comment '测试表'partitioned by (partition_datestringcomment '日志生成日期') stored as or...

1.首先在hive中建表（尽量与mysql字段对应）2. 将mysql中的表导出 txt格式3.通过hadoop 上传到HDFS上命令hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external/tables/dim/dim_station_trans_com_info前面为 hadoop文件地址 ，后面为HDSF文件地址。4.查看HDFS上是否成功上...

【Hadoop学起来】Hadoop2.9.0的单机模式成功运行！！！https://www.jianshu.com/p/92f94eb5f7d2CentOS7下安装Hadoop2.9.2单机模式https://blog.youkuaiyun.com/bowei026/article/details/95794558

https://www.cnblogs.com/xiaodf/p/11671095.html1 Kylin是什么今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，这一问题已经变成...

https://blog.youkuaiyun.com/qq_36986510/article/details/80024905为深入学习hadoop，需要在个人电脑上安装centos6.7虚拟机。本篇文档介绍的就是关于该虚拟机的安装教程。本人操作系统为：windows 10 专业版 （理论上教程适用于window7及以上系统）需要工具：（1）VirtualBox 以及VirtualBox扩展...

https://www.jianshu.com/p/056a3b3ee619下载地址http://isoredirect.centos.org/centos/6/isos/x86_64/安装虚拟化软件http://www.jianshu.com/p/6b589ecd62c2安装Linux操作系统 CentOShttp://www.jianshu.com/p/9a65e26c...

https://www.cnblogs.com/xuziyu/p/11004103.htmlFlume的定义Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统。即是日志采集和汇总的工具 Logstash、FileBeat是ES栈的日志数据抽取工具，他们和Flume很类似，前者是轻量级、后者是重量级，若项目组使用的...

https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658300&idx=2&sn=eef46f1bb01e1afc8924eb8d5bee29a0&chksm=84a5ad30b3d22426d7148760687cee73047a8a80ec285ae1bb243e15cb2bbc66996f40c...

https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658324&idx=1&sn=db853c3c6df90df6309761237c81b151&chksm=84a5ad58b3d2244e62a1f9cd6cf52c87c94d717eb07cf0e05735fadf8a2597595afdabc...

https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658300&idx=1&sn=07c72278ee74671efcc41c50d740bf66&chksm=84a5ad30b3d224266ff011493a8c1326961b1851bec19962b7abf615f26432389496384...

https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658331&idx=1&sn=798d6125c0b8609348dbe8de0329c222&chksm=84a5ad57b3d2244128aaa3088c8ad11053151d3377a5490c3f8e16c371a192abbc2f00...

https://blog.youkuaiyun.com/a185589690/article/details/100852581Elastic Stack简介如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是ElasticsearchLogstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack...

https://www.jianshu.com/p/59b0601d7ad2第一次接触Spark，自己整理了（从网络，书籍，同事那里）一些Spark的相关内容当做笔记。路过的朋友仅供参考，不能保证说得都对。什么是 Spark简单来说，Spark是一种面向对象、函数式编程语言。Spark能够像操作本地集合对象一样轻松地操作分布式数据集。它具有运行速度快、易用性好、通用性强和随处运行等特点...

https://www.cnblogs.com/qingyunzong/p/8886338.html目录一、官网介绍 1、什么是Spark 二、Spark的四大特性 1、高效性 2、易用性 3、通用性 4、兼容性 三、Spark的组成 四、应用场景正文回到顶部一、官网介绍1、什么是Spark官网地址：http://spark.ap...

https://www.cnblogs.com/pilihaotian/p/5830754.html我们通常用用_catAPI检测集群是否健康。 确保9200端口号可用:　　curl 'localhost:9200/_cat/health?v'　　绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用.　　2.通过如下语句，...

https://www.jianshu.com/p/7d687c9dba4f链接上一篇文章 ：ElasticSearch介绍 https://www.jianshu.com/p/403c9d5b14633 ES快速入门ES作为一个索引及搜索服务，对外提供丰富的REST接口，快速入门部分的实例使用head插件来测试，目的是对ES的使用方法及流程有个初步的认识。3.1 创建索引库E...

https://www.jianshu.com/p/403c9d5b14631、 ElasticSearch介绍1.1 介绍image.png官方网址：https://www.elastic.co/cn/products/elasticsearchGithub：https://github.com/elastic/elasticsearch总结：1、elasticsear...

http://www.dataguru.cn/article-13319-1.html作者介绍倪增光，饿了么BDI-大数据平台研发高级技术经理，曾先后就职于PPTV、唯品会。15年加入饿了么，组建数据架构team，整体负责离线平台、实时平台、平台工具的开发和运维，先后经历了唯品会、饿了么数据平台从无到有到不断完善的过程。一、背景饿了么BDI-大数据平台研发团队目前共有20人左...

https://blog.youkuaiyun.com/whdxjbw/article/details/81107285 ...

https://blog.youkuaiyun.com/xiaoxsen/article/details/79050842 ...

https://dbaplus.cn/news-21-613-1.htmlhttps://blog.youkuaiyun.com/weixin_34268169/article/details/87293207 原文链接：http://www.jianshu.com/p/b65ed16...

https://segmentfault.com/a/1190000014479433?utm_source=tag-newest1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能...

原文地址：http://www.cnblogs.com/hapjin/p/5663024.html一，ActiveMQ高可用性的架构ActiveMQ的高可用性架构是基于Master/Slave 模型的。ActiveMQ总共提供了四种配置方案来配置HA，其中Shared Nothing Master/Slave 在5.8版本之后不再使用了，并在ActiveMQ5.9版本中引入了基于Zo...

https://blog.youkuaiyun.com/keda8997110/article/details/50916800 为何HBase速度很快？HBase能提供实时计算服务主要原因是由其架构和底层的数据结...

https://blog.youkuaiyun.com/wshyb0314/article/details/81475475 相信做...

https://blog.youkuaiyun.com/brucexia/article/details/79121050 HBase不睡觉书http://product.dangdang.com/25216089....

https://blog.youkuaiyun.com/qq_32532853/article/details/52539064 最近公司想要做数据分析，之前我们公司用的是免费的growing IO。他们分析仅限于界面跳...

https://blog.youkuaiyun.com/paicMis/article/details/82535018 ...

https://blog.youkuaiyun.com/qq_40147863/article/details/84349644 ...

https://blog.youkuaiyun.com/luanpeng825485697/article/details/80319552 版权声明：本文为博主原创文章，遵循 ...

https://www.jdon.com/bigdata/how-to-understand-cap.html在大数据领域，被业界广泛谈及的CAP理论存在着一些关键性的认知误区，而只有全面地考察与分析分布式环境中的各种场景，我们才能真正正确地理解它。　　目前，CAP（Consistency一致性、Availability可用性、Partition-tolerance分区可容忍性）理论普遍被...