dicrectIO

最新推荐文章于 2021-05-06 17:07:54 发布
原创 最新推荐文章于 2021-05-06 17:07:54 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#IO

DirectIO是一种新型I/O技术，它绕过操作系统缓存，直接在用户空间与磁盘间进行数据传输，实现0拷贝，大幅提升I/O效率。此技术被广泛应用于Kafka、Netty、Spark及Hadoop等分布式系统中。

dicrectIO:是一种NIO(new IO)既不需要经过操作系统缓存，又不需要经过cpu move操作，以0拷贝的方式将数据从内存拉到用户空间的（buffer）磁盘文件上。速度比传统IO快得多 。

采用dicrectIO的组件：kafka,netty通信框架，最新spark io，hadoop io 等分布式组件 。

 

hive 外部表、内部表、静态分区、动态分区、临时表
kevin
08-15 1915
内外部表区别 1.内部表由hive自己管理数据(所以hive删表会删元数据和主数据)，(主)数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）; 外部表数据由HDFS管理(所以hive删表会删元数据，但不会删主数据)，(主)数据存储位置由自己建表时指定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的数据库名/表名创建一个文件夹，并将属于这个表的数据存放在这里）。 h..
kafka from--kafka document
kevin
02-12 597
一.kafka是什么 ApacheKafka®是一个分布式流媒体平台。 流媒体平台有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。 也可以把他看作一个分布式文件系统               由于认真对待存储并允许客户端控制其读取位置，您可以将Kafka视为一种专用于高性能，低延迟提交日志存储，复制和传播的专用分...
kylin使用指南
kevin
10-19 7040
一、一些维度概念 1.Mandatory Dimensions（固定/普通维度）：如果每次查询的group by中都会携带某些维度字段，则 将这些字段放入Mandatory Dimensions，可以将cuboid的个数减少一半 2.Hierarchy Dimensions（层级维度）：如果维度之间有层级关系，例如国家、省、城市，年、季度、月等。将这些表示层级关系的字段放入Hierarchy ...
在两个kafka集群同步topic
kevin
03-24 7012
在两个kafka集群同步topic 目标：把debezium节点所在集群上的kafka集群的名为sysdata的topic同步到目标集群cdh上的kafka集群上。 前提：在目标集群的相关节点的hosts文件配置好源集群主机信息。 [root@master01 kafka]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomai...
通用调度平台帮助文档
kevin
12-21 4180
324324234 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，...
oozie Hue操作入门
kevin
10-22 3625
一。直接在Hue操作 1.创建文件   2.   3. 4. 5. 6. 7. 8. 9.   二。用命令行 从节点目录上传文件到hdfs 节点目录：/home/yuwei/mydoc/test3.sh hdfs目录:/user/yuwei/home/ 1.用hdfs 账户给“hdfs目录:/user/yuwei/ho...
spark 分区 提交 调优
kevin
05-24 1709
觉得还行的话，点个赞哟。 一spark RDD分区原则 在Spark的Rdd中，Rdd默认是分区的。 有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多，但是每个Rdd的数据量比较小，则需要重新设置一个比较合理的分区数。或者需要把Rdd的分区数量调大。还有就是通过设置一个Rdd的分区来达到设置生成的文件的数量。 二.coalesce和repartition ...
hadoop ---mapreduce（映射化简）
kevin
05-28 1393
1.Map/Reduce是什么大数据并行编程框架，由两个基本的步骤Map(映射)和Reduce(化简)组成，它隐藏了分布式计算中并行化、容错、数据分布、负载均衡等内部细节，实际的使用中普通编程人员/应用人员只需关系map/reduce两个过程的实现2.Map/Reduce的框架原理整个Map/Reduce框架包括3部分：JobClient、JobTracker、TaskTracker三部分组成，同...
java 用Set对结果集按指定key去重并排序
kevin
11-05 1350
使用场景：在数据量比较大的情况下，某些开窗函数去重会非常耗时，但是用group by+join 又去不干净，这时考虑用group by+join +java set 去重的方法 思路：利用重新java类的equals和hashcode方法指定key，然后通过set去重 1.测试数据2条，同一个personId 在同一时间(snap_time)有两条数据 （但是这两条数据的record_id不一样，导致原始数据库没有去到重） INSERT INTO dts_daas.res_time_space (.
关于大数据平台方向的一点理解
kevin
10-22 1324
一、平台方向 1.概念：就是构建这样一套组件: 从日志数据如何高效、稳定、安全、被清洗、被脱敏后进入存储节点到映射为表结构，再到为分析人员和算法人员 提供高效、稳定、安全、便捷的查询服务 （平台人员去做的事）。（分析人员去做的事）使得分析人员只需要写一个sql然后通过BI工具进行结果展示 或者采用web开发，进行web展示。算法人员可以根据相关组件拿到大量离线数据和实时数据去做数据建模和预测。平...
hive 创建（内外部）表 时 同时创建Hbase表
kevin
10-26 851
hive 创建内部表 时 同时自动创建Hbase表，删除Hive内部表时，也会自动删除hbase表 CREATE TABLE student_hive_hbase( id int, name string, age int, height int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPR...
flume日志、zookeeper偏移量查询与设置
kevin
01-03 808
1.查询flume日志（INFO，ERROR） 法1:(在网页cloudera manager-flume-配置-类别-日志-Flume Agent 日志目录 找/lvm/log/flume-ng) http://10.2.5.65:7180/cmf/process/all/logs/search 法2：在命令行 [root@hadoop6 flume-ng]# cd /lvm/...
数据仓库与数据湖相关总结
kevin
05-06 654
一、数据仓库分层： DS:数据源层 (mysql,pg(增删改查日志),kafka(机器运行日志、点击日志))，同一类日志可以是多张表结构相似的表(日志表：网页日志表，抓拍日志表，手机信号日志表，h5日志表，小程序日志表) staging:数据预处理层，存储每天(批次)的增量，表结构和ods层一样 ods:操作数据层，存储所有清洗(etl)后的基础数据，表结构基于DS但不完全同于DS（ods日志表 对应 DS 网页日志表，抓拍日志表，手机信号日志表，h5日志表，小程序日志表）。 dd:脏数据层，..
Hdoop 概念与理解
kevin
05-25 632
一.计算引擎 ----mapreduce1.map操作2.reduce操作3.spark4.mapreduce与spark的优虐二.分布式存储 ----hdfs1.文件备份（3份）2.数据如何在各个节点均匀分布3.如何映射到hive表4.块大小，为什么要设置这么大的块？5.hbase如何将data存储到hdfs6.导入数据到hdfs的几种方式（sqoop,kettel,spark datafram...
Dstream[Row] 数据批量导入Mysql 并去重（大致为如果数据库中有某行数据了，本次执行若有一行与数据库中的那行相同，则不会再插入进去）
kevin
10-22 628
def Save2Mysql(stateDStream: DStream[Row]): Unit = { stateDStream.foreachRDD { rdd => { rdd.foreachPartition(partitionRecords => { /* var conn: Connection = null ...
tika-parser-font-module-3.1.0.jar中文-英文对照文档.zip
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
perl-SelfLoader-1.23-420.el8.tar.gz
09-07
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
tika-parser-audiovideo-module-3.1.0.jar中文-英文对照文档.zip
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
【故障诊断】基于matlab空气数据传感器在存在大气湍流的情况下故障检测和诊断【含Matlab源码 14132期】.zip
最新发布
09-07
Matlab领域上传的视频是由对应的完整代码运行得来的，完整代码皆可运行，亲测可用，适合小白； 1、从视频里可见完整代码的目录内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
perl-Scalar-String-0.003-8.el8.tar.gz
09-07
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值