- 博客(137)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 javacv-03：录制流媒体服务器的rtsp/rtmp视频内容，保存为本地视频文件
录制流媒体服务器的rtsp/rtmp视频内容，保存为本地视频文件
2021-03-01 15:23:07
4022
4
原创 初始流媒体与javacv
背景介绍大数据离线内容这几年做的也比较多了，今年想做些实时的大数据处理，包含实时采集、实时处理、实时分析以及后续的实时推荐等。目前公司是对接了一些海康的摄像头，正好借此机会，学习并整理一下相关的采集知识点，仅供入门使用。本人文章中的内容也是在前人的基础上进行实践，在确保小白可以读懂的同时，也为自己沉淀一些内容。
2021-01-31 19:14:54
580
4
原创 从零开始搭建流媒体服务器
背景介绍本文使用的流媒体服务器的搭建是基于rtmp（Real Time Message Protocol）协议的，rtmp协议是应用层的协议，要依靠底层的传输层协议，比如tcp协议来保证信息传输的可靠性。最后提供了一个不错的测试方案。流媒体服务器依赖的服务1，nginx 服务器；2，nginx服务器安装需要依赖的服务 OpenSSL、pcre、zlib、 c++、gcc等。服务器环境是Centos7.5 64 位，本地操作系统 win10 企业版。
2021-01-25 15:51:05
4067
原创 oracle中生成时间表
SELECT LEVEL + DATE '2019-11-01' dateFlag ,LEVEL + DATE '2019-11-01' dateF , trunc(dbms_random.value(1,50)) AS value FROM dualCONNECT BY LEVEL < DATE '2021-12-31' - DATE '2019-11-01' + 2
2022-01-03 20:59:54
963
原创 Hive中计算两个时间差的方式
(HOUR (CAST(applydet.RSV_END_DATE as timestamp) - CAST(applydet.rsv_begin_date as timestamp)) * 60 + MINUTE(CAST(applydet.RSV_END_DATE as timestamp) - CAST(applydet.rsv_begin_date as timestamp)) ) as minu ((unix_timestamp(applydet.RSV_END_DATE,'yyy.
2021-12-24 16:26:48
3217
原创 hive中查询数据为NULL，impala中查询数据可以正常显示
Impala是以序号形式读取parquet，而Hive是以列形式读取parquet
2021-07-15 11:20:59
1882
1
转载 理解MongoDB默认的ObjectID--转载篇
BSON ObjectID SpecificationA BSON ObjectID is a 12-byte value consisting of a 4-byte timestamp (seconds since epoch), a 3-byte machine id, a 2-byte process id, and a 3-byte counter. Note that the ti...
2020-03-03 21:44:21
390
原创 针对最近项目上线的反思总结
前言：从上次项目上线到此次项目上线中间的经历的时间是两个月。项目上线内容包含BI报表、portal页面、推荐引擎服务、数据资产地图、制度数据、外部数据以及新闻数据等。涉及方面分为采集、处理、调度、算法、页面展现等。涉及的方向包含：java和python（语言）、oracle（数据库）、springboot（框架）、大数据（主要是hive、spark和sqoop等服务）、mlp（算法）、vue（前端...
2019-09-01 14:28:48
489
原创 plsql根据crt的代理进行内网连接oracle数据库
场景描述：有一台拥有公网IP的服务器，提供SSH服务，端口22,可远程连接；该服务器拥有多网卡，配有内网IP；从数据安全角度内网的Oracle未提供公网服务，但SSH服务器所在内网端可以访问数据库服务器； 现在需要访问数据库服务器，进行数据操作，首先想到的方法：在SSH服务器上安装Oracle客户端，使用SQL*PLUS访问数据库；或者使用一些第三方数据库管理客户端；无论是使用Oracle...
2019-08-02 15:59:07
2634
3
转载 hive常用的字符串函数
Java代码语法:length(stringA) 返回值:int 说明：返回字符串A的长度 举例： hive>selectlength(‘abcedfg’)fromdual; 7Java代码语法:reverse(stringA) 返回值:string 说明：返回字符串...
2019-04-25 09:24:58
222
转载 hbase落地后hdfs磁盘急剧增长的解决办法
场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException,于是ctrl+c取消了落地到HDFS.HDFS 一共有 3 个datanode. 每个节点有2T的磁盘空间$bin/hbas...
2019-04-18 21:54:08
789
原创 idea快捷键
Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类C...
2019-04-17 18:39:10
130
转载 crt配置http代理上网
https://blog.youkuaiyun.com/firstime_tzjz/article/details/64920908
2019-04-11 09:45:22
1018
转载 sqoop导入导出数据到Hadoop的代理执行
最近在做执行服务器，它根据用户输入的sqoop命令代理向hadoop提交任务执行，目前需要支持的数据源包括mysql、oracle以及公司自己的分布式数据库DDB，数据导入的目的地可以是HDFS或者hive表。首先来讨论一下对hive的支持，hive是作为一个支持JDBC的数据库，它的数据分成两部分，元数据和数据，元数据保存在一个本地的数据库，例如嵌入式数据库derby或者mys...
2019-04-09 13:49:46
681
转载 cdh5.15安装apache flink
1.我集群环境是cdh5.15,hadoop2.6，Scala2.11版本的，所以下载的是：flink-1.7.2-bin-hadoop26-scala_2.11.tgzhttps://archive.apache.org/dist/flink/flink-1.7.2/2.将该压缩包拷贝到master01,slave01,slave02的 /myflink 目录在所有节点：mkdi...
2019-03-29 22:12:10
5977
2
原创 sqoop中export和import的参数说明
一.先创建一个小表(test_01)进行测试(主节点IP:169.254.109.130/oracle服务器IP:169.254.109.100)1.测试连接oracle;sqoop list-tables --connect jdbc:oracle:thin:@169.254.109.100/ciicods --username odsuser --password odsuser2...
2019-03-28 17:47:03
2309
转载 flink消费kafka数据 之 消费位点
原文：https://data-artisans.com/blog/how-apache-flink-manages-kafka-consumer-offsets作者：Fabian Hueske, Markos Sfikas译者：云邪（Jark）在本周的《Flink Friday Tip》中，我们将结合例子逐步讲解 Apache Flink 是如何与 Apache Kafka 协同工作...
2019-03-28 10:26:52
2247
原创 flink+kafka实现wordcount实时计算+错误解决方案
1. FlinkFlink介绍：Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理，这也是其最大的特点。Flink 可以支持本地的快速迭代，以及一些环形的迭代任务。Flink的...
2019-03-28 08:30:41
689
原创 kafka与flink整合时候出现的异常：nio.channels
java.nio.channels.ClosedChannelExceptionat kafka.network.BlockingChannel.send(BlockingChannel.scala:110)at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:98)at kafka.consumer.Simp...
2019-03-27 20:34:33
941
转载 hive之group by的用法
一，GROUP BY 执行理解先来看下表1，表名为test：表1 执行如下SQL语句：SELECT name from test GROUP BY name ;你应该很容易知道运行的结果，没错，就是下表2：表2 可是为了能够更好的理解“group by”多个列“和”聚合函数“的应用，我建议在思考的过程中，由表1到表2的过程中，增加一个虚构的中间表：...
2019-03-27 15:21:07
10055
转载 利用sqoop将hive中的数据导出到mysql中
背景：sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。这里主要以mysql为例介绍一下，导入导出的使用方法。详情参考官方文档：http://sqoop.apa...
2019-03-27 10:06:02
4565
转载 如何使用sqoop工具
在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。 sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.j...
2019-03-27 09:17:15
474
原创 vim下的快捷键
一，什么是vim Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在vi的基础上改进和增加了很多特性。 vim编辑器是Linux系统下标准的编辑器，作用相当于windows系统中的记事本一样,但他却比记事本强大多了，vim完全不逊色于任何最新的文本编辑器。他是我们使用Linux系统不能缺少的工具。要想成为Linux大牛，熟练掌握vim的功能是必须的学会它后，将在Li...
2019-03-17 19:13:20
273
原创 phpldapadmin1.2.3页面的使用
https://blog.youkuaiyun.com/qq_21383435/article/details/83342736
2019-03-06 22:39:32
270
原创 CDH-Kerberos环境下Kafka集成Sentry进行权限管理
http://www.pianshen.com/article/633756736/
2019-03-06 12:28:08
636
原创 如何在CDH集群中部署Kafka Manager---只是一个链接
https://cloud.tencent.com/developer/article/1349478
2019-03-05 21:34:01
472
转载 CDH5.14版本集成的kafka---转载
CDH5.14安装Kafka过程：在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。注意集成之前请阅读官方文档，特别是版本支持方面。查看kafka与CDH版本对应：https://www.cloud...
2019-03-05 21:29:55
864
转载 kafka搭建
安装及部署回到顶部一、环境配置 操作系统：CentOS7 Kafka版本：0.9.0.0 Kafka官网下载：请点击 JDK版本：1.7.0_51 SSH Secure Shell版本：XShell 5 回到顶部二、操作过程1、下载Kafka并解压 下载: curl -L -O http://mirrors.cnni...
2019-03-05 12:38:51
240
转载 kafka配置文件解读
每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=10485...
2019-03-05 12:38:15
225
转载 ldap安装
LDAP安装1、安装cyrus ：从http://ftp.andrew.cmu.edu/pub/cyrus-mail/下载cyrus-sasl-2.1.21.tar.gztar -zxvf cyrus-sasl-2.1.19.tar.gzcd cyrus-sasl-2.1.21./configur...
2019-03-04 14:49:49
671
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人