- 博客(20)
- 收藏
- 关注
RSS订阅原创 Elasticsearch安装以及语法学习
简介借助官网介绍：Elasticsearch简介您知道，用于搜索（和分析）Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集，聚合和丰富您的数据并将其存储在Elasticsearch中。使用Kibana，您可以交互式地探索，可视化和共享对数据的见解，并管理和监视堆栈。Elasticsearch是建立索引，搜索和分析魔术的地方。Elasticsearch为所有类型的数据提供实时搜索和分析。无论您是结构化文本还是非结构化文本，数字
2021-12-31 19:54:02
1650
原创 superset源码安装部署
superse超集（pip下载 0.30版本）下载源码https://github.com/apache/superset.git选择0.37分支下载zip包解压改名：!]##安装python1.下载安装包上传到服务器[root@scr_server data]# ll |grep Python-3.7.6.tgz -rw-r--r--. 1 root root 23148187 Sep 17 14:20 Python-3.7.6.tgz[root@scr_server d
2021-12-30 14:39:36
4617
原创 记录 zookeeper集群配置参数 flume配置参数
1.zookeeperzookeeper作为大数据集群的最基础的服务组件，许多集群服务都需要zookeeper集群的稳定并且高效的运行。那么对于zookeeper集群的基本参数理解就是不可避免的了。可以用这些参数来进行集群的管理和调优。如果集群有问题，那么根据打印日志信息 再加上对于集群配置参数的理解 就会很方便的进行排查问题，检查集群的性能瓶颈# The number of milliseconds of each ticktickTime=5000# The number of ticks t
2021-04-28 10:45:34
322
原创 记录 zookeeper频繁得重复创建连接然后关闭影响节点稳定问题
背景hadoop集群上运行着flink数据同步任务。数据同步得技术架构是flume采集到kafka，再用flink程序进行消费得流程。近来发现数据不稳定。开始因为一些不同机构之间有些网络升级等问题导致。后来出现问题：数据同步错误；并且kafka单台服务挂掉，zookeeper单台服务挂掉。排错过程记录1.kafka集群修改发现数据不稳定后，首先在yarn上发现flink流任务正在运行，未挂掉。再连接服务器查看java进程jps结果发现某一台机器没有kafka任务和zookeeper任务31
2021-04-22 15:16:53
2747
2
原创 kafka与zookeeper的常用命令
随笔记:<<!大数据集群对于zookeeper集群的依赖是很强的 保证zookeeper集群的稳定是必要的zookeeper作为一个分布式的协调服务框架，其中分两部分 一部分为分布式小文件存储系统 一部分为分布式服务调用微服务分布式文件系统可以通过./zkCli.sh 进入客户端 在linux环境下操作节点 也可以安装web连接ui界面操作分布式服务要保证服务的正常启动以及使用zookeeper的集群问题可以在这两个方面入手 分析文件系统 服务 网络 日志等等!查找被占用的进
2021-04-20 10:00:49
386
原创 记录一次flink消费kafka数据进行oracle数据同步问题
背景oracle数据同步项目。在同步过程中偶发插入或者更新数据后数据立即会进行删除。导致同步失败；基本技术架构oracle触发器进行数据的增删改查时将数据变更情况写入一张日志表flume采集日志表。使用sql插件kafka信息中间件flink进行流处理，使用侧输出流问题数据同步的逻辑是：1.在kafka中获取到数据后使用测输出流进行分发2.使用duutils进行数据连接管理 但是不是使用连接池来进行管理 只是使用queryrunneer进行数据库的增上改查 因为数据库连接池是由连
2021-04-15 16:24:06
1046
原创 Spark任务内存溢出问题脚本参数调整
Spark内存溢出修改脚本(耗费时间)调整提交参数Spark内存Driver一般不重要Executor堆内内存溢出堆外内存溢出脚本参数--master yarn \--driver-memory 4G \ #driver内存--executor-memory 30G \ #executor堆内内存--executor-cores 5 \ #executor占用核数--num-executors 10 \ #executor 个数--queue
2020-12-22 17:22:49
621
原创 sqoop一些常用到的命令
sqoop命令注意：oracle在sqoop使用时要分大小写（表名和字段名）sqoop的命令行只能有一个，不能叠加–hive-delims-replacement “ ” ：可以将mysql中取到的\n, \r, and \01等特殊字符替换为自定义的字符，此处用了空格–hive-drop-import-delims ：可以将mysql中取到的\n, \r, and \01等特殊字符丢弃–map-column-hive TMSTAMP=String ：将sqoop中的java文件转换
2020-10-30 15:53:17
942
原创 记录win10下python3.7安装pyhive遇到的问题以及安装impyla
在windows系统下安装pyhive查资料都是用pip进行安装pyhive的依赖，最后安装pyhive，在安装sasl过程中windows系统会报错，一头雾水；可以用canda进行安装，自动安装依赖conda install PyHive验证是否可用：from pyhive import hive...
2020-08-13 10:30:58
3224
原创 windows10下PowerShell远程ssh连接服务器&&界面美化
远程连接1.找到PowerShellwin10环境下自动集成了PowerShell终端，只需搜索即可进入界面需要以管理员身份运行2.设置powershell因为在win10 中powershell的执行策略是受限制的，所以更改策略Set-ExecutionPolicy AllSigned3.安装安装Chocolatey工具管理包，能够方便的为我们下载安装软件。在执行语句后输入“y”Set-ExecutionPolicy Bypass -Scope Process -
2020-08-07 11:44:28
5257
原创 shell脚本实现多并发(mkinfo)
以下为代码实现的一个模拟场景：3个生产者，在不断提供服务，处理需求，假设1s处理一个。20个消费者，在不断消耗供给产品，提交需求，假设3s消耗一个。情景分析：由于消费者的提交需求能力 和 生产者处理需求的能力 不对等，于是出现了供不应求的供销矛盾。问题：一般情况下，在供不应求时，会有大量的需求被挂起，也就是排队，排队期间消费者不得离开，否则当前所处的队列顺序就被后面的消费者替代。这样所有排队的消费者都无法干别的事，只能空等，类比操作系统中内存、计算单元等资源被空占，影响整体效率。解决思路：通过队列
2020-07-20 15:33:27
510
原创 shell中的一些关键字
shell中的$0 $n $# $* $@ $? $$$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。$#传递给脚本或函数的参数个数。$*传递给脚本或函数的所有参数。@传递给脚本或函数的所有参数。 @传递给脚本或函数的所有参数。 @传递给脚本或函数的所有参数。 * 和 @的区别 @ 的区别 @的区别 * 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号" “包含时，都以”$
2020-07-20 14:10:40
1280
原创 FineBI的学习
一、基本情况1、简介FineBI相对于传统的BI来说安装使用都很快捷，FineBI不再强烈的依赖于开发人员，它能够让业务人员按照自己的想法来进行数据的分析。帮助企业用户快速、方便的掌握企业内的数据情况，完成相应的分析目标。它提供了完整的教学文档和教学视频，能够让用户在半个小时之内就能够完成简单的数据分析功能[帮助文档](%3Ca href=“https://help.finebi.com/?utm_source=exe”%3Ehttps://help.finebi.com/?utm_sour
2020-07-20 12:29:57
5493
原创 sql server变量
数据库中＠与@@"@“是:局部变量声明，如果没有”@"的字段代表是列名；@@是：全局变量eg：声明变量：declare @name varchar(8)赋值：set @name= '张三'查询：select * from stuInfo where stuName = @name由set 和 select 进行赋值；select一般用于查询数据，然后再赋值变量。还有@@error 等是全局变量，系统自定义的，我们只读，不能改！！...
2020-07-20 11:45:49
249
原创 shell一些日常用到的命令
shell中的一些命令：:<<EOF这个命令相当于idea中的/ /，中间的内容相当于被注释掉EOF也可以换成别的字符，只要上下保持一致EOF1>$2 或者2>$1这两个命令的理解如下：在shell中‘0’代表标准输入，在前台输入‘1’代表正确输出，打印在控制台‘2’代表错误输出，打印到控制台‘>’代表重定向（覆盖）'>>'代表重定向（追加）执行shell命令打印到控制台的正确内容就是‘1’输出执行shell命令打印到控制台的报错信
2020-07-13 12:45:10
191
原创 一些常用的sql和注意事项
mysql查询表的字段和类型select column_name,column_comment,data_type from information_schema.columns where table_name='查询表名称' and table_schema='数据库名称'oracle查询表的字段和类型select A.COLUMN_NAME,A.DATA_TYPE from user_tab_columns A where TABLE_NAME='表名'hivesql
2020-07-13 12:36:02
246
原创 代理的理解
正向代理和反向代理1、在搞清楚正向代理和反向代理之前，首先要清晰几个概念local 本地计算机 就是自己手边用的计算机代理服务器 就是一台代理一个或多个计算机的服务器目标服务器 就是最终要得到数据的那台服务器2、正向代理从本地出发，要访问目标服务器得到数据，但是直接访问不到，所以找来一台能够连接目标服务器的代理服务器。这时访问代理服务器就可以得到最终的数据3、反向代理从本...
2020-04-10 19:12:48
201
原创 sql语句执行流程
sql执行顺序(1)from(2) on(3) join(4) where(5)group by(开始使用select中的别名，后面的语句中都可以使用)(6) avg,sum…(7)having(8) select(9) distinct(10) order by(11) limit每个步骤都会为下一个步骤生成一个虚拟表，这个虚拟表将作为下一个执行步骤的输入。第一步...
2020-04-09 18:20:34
215
原创 EasyReport
EasyReport的安装学习安装前提:Jdk1.8以上Tomcat 8以上Mysql5以上安装过程参考https://www.cnblogs.com/weidongliu/p/11027724.html**安装tomcat中遇到的问题** 可以访问tomcat页面，但是无法访问项目 **修改conf目录下的web.xml文件conf/web.xml --> tomcat...
2020-04-05 22:16:58
5568
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人