- 博客(25)
- 收藏
- 关注
RSS订阅原创 使用C#写的一个Kafka的使用工具
由于offset不支持通过界面推送数据，所以我写了一个kafka的连接工具，能够直接从界面推送数据，方便使用。由于使用的是C#写的，所以比offset要流畅的多。3、点击获取数据能够获取最新的100条数据。2、获取集群的topic。资源下载全是免费的。
2025-04-03 18:29:04
382
原创 生成mysql表中最近的10000条数据的代码
这个 SQL 语句会创建一个名为 date_table 的表格，包含 id 和 date_col 两个列。其中，date_col 列存储日期信息。通过 SET 命令设置起始日期为 2020-01-01，并通过 INSERT INTO 命令插入 10000 条记录，每条记录的 date_col 值为递增的日期。
2023-06-12 16:19:57
475
原创 hive关联中取消不同类型自动进行隐式转换的问题
hive.strict.checks.cartesian参数可以设置为true或false，默认值为false。如果将其设置为true，则Hive将不会在关联操作中进行隐式转换，而是只允许使用相同数据类型的列进行关联。在Hive中进行关联操作时，如果关联的两个表的列数据类型不匹配，则Hive会尝试进行隐式转换。如果要取消关联操作的隐式转换，可以使用hive.strict.checks.cartesian参数。在Hive配置文件中设置参数以在所有会话中启用参数。
2023-05-06 16:57:13
363
原创 chatGPT生成Flink程序
以上代码演示了如何使用 Flink 从 Kafka 中消费数据，进行简单的窗口计算，并将结果写入到 MySQL 数据库中。这是一个基础的示例，您可以根据自己的需求进行修改和扩展。编写 Flink 程序，其中使用 Kafka 消费者接收数据，并在固定时间窗口内将数据插入到 MySQL 数据库中。注意：需要根据实际情况修改 MySQL 的连接信息和表名。
2023-04-06 15:26:25
579
原创 mssql-cli 的使用方法
Usage GuideThis article explores mssql-cli features. Click a link below to jump to a specific section:OptionsExamplesEnvironment VariablesSpecial CommandsNon-Interactive OptionsConfigurationHorizontal Paging Options on WindowsTroubleshootingOpt
2021-05-25 11:03:19
1068
原创 数据仓库的基础题目
1.什么不是数据仓库的一部分？A 面向主题的B 集成的C 相对稳定的D 反应当前变化的2.哪一项不是系统数据库的特点？A 反应当前值B 访问频率高C 大量的用户D 大量的汇总宽表3.下面拿一项不是HADOOP生态？A ZOOKPEERB HIVEC SPARKD MYSQL8.数据仓库确立时间A 1990B 1991C 1992D 19934.数据仓库建设方法 自上而下的验证方法，自下而上的验证方法。5.数据仓库分层有哪些 STAGE ODS DWD DWA D
2020-08-25 09:24:22
566
原创 进行跨集群的数据迁移出现namenode切换，导致数据异常
因为有时候需要定时进行跨集群的数据迁移，所以需要进行跨集群传数据。这里采用distcp 指令进行传数据。但是这个指令只能指定已经活跃的NAMENODE。当出现主节点切换后会出现错误。所以采用先进行判断，后续进行传数据的操作。
2020-08-19 17:01:42
370
原创 新手会出现的常见错误[Vue warn]: Cannot find element: #app
记录一下这个简单的错误。其实就是在 <div id="#app"> </div>这里不应该使用#，否则会出现报错。
2020-05-12 11:23:37
817
原创 Connected to . 421 Service not available. ftp出现连接不上的异常
记录一下这个错误。连接这一台FTP时出现了FTP连接不上的错误。通过查看相关配置文件/etc/hosts.allow发现限制中没有这台机器的权限。添加之后恢复正常...
2020-03-23 11:20:26
2435
原创 将hive的数据导出成一个文件并且下载在一台机器上
之前使用的方法一直都不好然后就去查一些资料后发现这种方法最好而且省事情。hdfs dfs -getmerge hdfs://nameservice1/user/hive/warehouse/app.db/app_hjdper_repot_tips_business/* ./文件路径第一个参数是hive中表的hdfs的路径位置，第二个是你需要下载的路径的位置，这样就会直接将hive的数据下载在...
2020-02-14 20:27:13
576
原创 大数据技术在P2P监测系统的应用和实践
【摘 要】：近年来，随着互联网金融行业的迅猛发展，P2P平台数量激增如雨后春笋般涌现，虽然推动了互联网金融生态系统的形成并促进了金融服务的繁荣。但是由于缺乏对互联网金融行业风险的有效控制，导致P2P行业屡屡发生倒闭、跑路、兑付危机等负面事件，不但使广大金融投资者损失惨重，也扰乱了国家的金融秩序，给社会带来了不安定因素。互联网金融协会为了全面、及时掌握P2P行业发展情况, 监控P2P机构运营风险...
2020-01-10 16:58:11
1003
原创 使用HIVE 自带的JSON 函数进行json解析 同时解析JSON数组
数据展示这是遗传JSON字符串 ，是一个还款计划，其中包含了很多的还款计划。{"plan":[{"principal":"1114.09","interest":"489.14","date":"2018-11-02"},{"principal":"1124.30","interest":"423.03","date":"2018-12-02"},{"principal":"1134.61",...
2020-01-10 16:03:58
997
原创 hadoop 采用distcp命令进行导数据，解决namenode节点切换导致的异常
使用distcp命令hadoop distcp -overwrite hdfs://namenode1:8020/tmp/T_PUBLIC_OPINIONS_INFO hdfs://namenode11.201/tmp/T_PUBLIC_OPINIONS_INFOnamenode切换由于集群重启或者是维护等问题，集群可能会出现namenode切换等问题。导致数据无法复制等问题，所以我们应当...
2019-12-16 09:59:31
633
原创 nginx 重新部署，使用了新的用户时出现了权限异常
nginx 重新部署，使用了新的用户时出现了权限异常之前已经通过一个用户ROOT进行部署了nginx，之后发现切换用户之后无法启动。出现了nginx默认相关配置异常的情况。[sjzl@localhost nginx]$ ./nginx -c /home/sjzl/sjzl4.1/tongyongbanbase/soft/nginx/conf/nginx.confnginx: [alert] ...
2019-12-09 13:55:41
299
原创 JAVA 远程连接Hbase需要开通的网络端口
今天突然要把后端和数据库分离，所以就遇到了这个问题，网络一直调不通Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=67926: This connection is closing row 'airelinecompanyflyingteaminfo,,' on table 'hbase:me...
2019-11-29 19:30:18
2834
原创 Hbase 根据数据入库时间戳查询入库数量
查询多个版本的数据scan 'user', {RAW => true, VERSIONS => 10}查询表中的数据的时候限定是否获取历史版本。可以看到不同时间检查的版本。根据时间错查询入库的条数目前无法直接通过count ，获取具体的数据量，所以只能用scan查询指定日期区间的入库量。通过限定TIMERANGE参数进行统计入库的数据量。 scan 'user',{CO...
2019-11-28 15:34:30
3957
原创 hadoop distcp Invalid arguments:错误解决办法
19/11/15 18:32:50 ERROR tools.DistCp: Invalid arguments: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visi...
2019-11-15 18:40:53
2070
原创 Impala简单查询hive与Hbase效率
简单对比测试Impala查询hive和hbase在hive和hbase中插入同样的数据73亿条。1. 测试查询100条数据在impala中查询hbase的100条数据，花费了6秒左右。直接在hbase中查询花费0.3秒。在impala中查询HIVE也是0.5秒左右。2. 测试根据ROWKEY查询在Hbase中查询，花费了0.09秒。在impala中查询花费0.5秒。在i...
2019-11-13 11:11:23
1121
2
原创 采用hive自带的方法生成Hfile，并将上亿大数据量导入HBASE
由于希望能够直接从HIVE往Hbase导数据，不使用其他脚本，且希望使用比较简便的方法，故编写此博客
2019-11-08 15:06:25
3880
6
原创 escheduler 出现$HADOOP_HOME 异常
在shell中执行hive等相关命令，出现环境变量的问题[INFO] 2019-10-28 11:23:19.624 cn.escheduler.server.worker.log.TaskLogger:[178] - [taskAppId=TASK_5_36148_38619] -> Cannot find hadoop installation: $HADOOP_HOME or ...
2019-10-28 11:28:37
266
原创 easyscheduler 定时调度使用方法
1.设置定时任务之前使用easyscheduler做设置定时调度时出现每秒执行一次了，不清楚为什么，故留作记录。2.注意设置定时任务时需要先调整秒的配置，例如每5分钟一次的调度，需要先将秒的调度设置为如下图所示，不可以按照默认每秒执行，否则后续调度还是会按照每秒进行执行。3.执行效果...
2019-10-22 12:17:00
1317
原创 MYSQL获取最近7天的日期
**写一个简单的 获取最近7填日期的sql**select DATE_SUB(curdate(),INTERVAL -1 DAY) day1 unionselect DATE_SUB(curdate(),INTERVAL -2 DAY) day2 unionselect DATE_SUB(curdate(),INTERVAL -3 DAY) day3 unionselect DA...
2019-10-22 11:51:39
9615
原创 使用python爬取英雄联盟的图片
起因：练习一下python，看到有人爬取王者荣耀的皮肤，我也来练练手。首先查看英雄联盟英雄界面的js，还有英雄的js以及皮肤图片的url。这里我们可以看到英雄的列表是在http://lol.qq.com/biz/hero/champion.js 中 进入英雄界面，并查看元素 这里我们可以看到图片的http://osswebimg.qq.com/images/lol/web2...
2018-07-31 21:59:38
3746
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人