- 博客(147)
- 资源 (30)
- 收藏
- 关注
RSS订阅原创 hive 修改表结构后回溯数据发现新增字段值为空的问题解决方案
问题描述通过alter table 增加字段：ALTER TABLE dw.video_profile CHANGE p_album p_album string AFTER p_content_phrase;ALTER TABLE dw.video_profile CHANGE p_content_quality p_content_quality string AFTER p_album;然后回溯数据，overwrite写到昨日分区，写完后查询发现昨日分区新增的字段中值为空。原因hive
2022-03-03 20:35:22
2889
原创 hive执行insert overwrite失败，报错 could notbe cleaned up错误
问题描述用户zhangsan执行insert overwrite：INSERT OVERWRITE table temp.push_temp PARTITION(d_layer='app_video_uid_d_1')SELECT ...报错目的目录无法清理——could not be cleaned up：Failed with exception Directory hdfs://Ucluster/user/hive/warehouse/temp.db/push_temp/d_layer
2021-11-29 16:40:22
6382
原创 一个查询ip归属地的hive udf
背景工作中会用到查询ip归属地的场景，购买了ip库数据，因官方不提供数据遍历方案，所以无法全量导入到hive中，只能使用udf进行查询。数据源来自https://www.ipip.net/，数据格式为.ipdb，如：ipv4_china_cn.ipdb。udf编码maven pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
2021-07-01 15:52:10
1182
原创 grafana告警配置、告警通道及告警内容的安装和配置
本文主要介绍grafana的告警是如何配置的，以及在触发告警时通过邮件和企业微信消息将告警通知给用户，最后介绍了如何在告警内容中添加告警时刻的panel图片。告警配置grafana的告警触发以panel为基础，即每个panel单独配置告警信息，包括告警规则、触发条件、告警通知通道及内容，例：告警通道grafana官方最新版本7.0.5支持的告警通道 ：使用钉钉的小伙伴还是有福的，可以直接通知到钉钉。本文主要介绍了笔者在开发中用到的两种：邮件和企业微信邮件修改grafana配置文件：
2020-07-19 18:38:53
38153
10
原创 flink 高可用 high-availability 配置的重试次数无效问题
问题背景我根据这篇博客https://blog.youkuaiyun.com/cndotaci/article/details/106870413的介绍，配置了flink基于yarn的高可用，测试时发现配置的任务失败重试2次没有生效，我测试到第6次时，任务仍然能够被yarn拉起如上图，除第一次手动启动外，下面的5次都是yarn的HA生效自动拉起。那么，下面配置中的重试次数为什么没有生效？flink版本：1.10.0flink-conf.yaml配置：$ grep -v ^# flink-conf.yaml
2020-07-02 07:46:44
3020
4
原创 flink yarn-session.sh启动任务指定的应用名和队列无效问题
问题背景我有一个hadoop集群和一台机器A.我在机器A上，使用命令:bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 &启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图：启动后，应用名为：Flink sess
2020-07-01 22:20:26
5001
原创 可能是史上覆盖flinksql功能最全的demo--part2
接上一篇文章可能是史上覆盖flinksql功能最全的demo–part1Flink SQL join Table的5种方式静态表常规join静态表常规join指的是：静态表join静态表例：按地区和优先级显示特定日期的客户及其订单-- 订单表dev_orders(基于S3的静态表) join MySQL表SET execution.type=batch;USE CATALOG hive;SELECT r_name AS `region`, o_orderpriority AS `pr
2020-06-21 23:32:34
371
原创 可能是史上覆盖flinksql功能最全的demo--part1
该demo基于flnk 1.10版本，由flink大佬fhueske发布到github：https://github.com/fhueske/flink-sql-demo。动手实践前请先git clone https://github.com/fhueske/flink-sql-demo.git。由于该demo内容较多，所以文章拆成了2部分，此为第一部分。场景和数据介绍此demo主要演示：Flink SQL如何处理不同存储系统中的数据Flink SQL如何使用Hive Metastore作为外
2020-06-21 21:22:47
1238
原创 推荐一款好用的elasticsearch Web管理工具cerebro
cerebro是一款开源的elasticsearch Web管理工具，主要具有以下功能：查看es集群各节点系统主要指标，如cpu、内存、磁盘等查看和管理es集群中的索引以及索引在各节点的分布情况，含分片数、副本数、文件数等集群管理、索引管理、模板管理等项目地址：https://github.com/lmenezes/cerebro部署# 拉取镜像docker pull lmenezes/cerebro# 运行docker run -p 8002:9000 lmenezes/cerebr
2020-06-20 18:26:47
1953
原创 如何删除airflow中不再使用的dag
如上图，airflow中的dag关闭后仍然会在webui中占坑，实在碍眼。调研后发现airflow并未提供删除功能。经分析实践，可以通过删除airflow的元数据库中相应数据，从而达到删除dag的目的。接上图，要删除dag squaredance_datamart，需要删除元数据库中如下表的相应数据：select count(1) from dag where dag_id='squaredance_datamart';select count(1) from dag.
2020-06-20 17:57:45
2055
原创 druid 超期自动删除data节点数据
默认情况下，data节点会保留全部历史数据在本地，随着数据量的积累，会占用大量的磁盘空间，所以需要修改默认配置，使本地只保留近一段时间内的数据，超期的数据会被自动删掉。打开druid Web Console http://druid-master1:8081/#/datasources配置所有数据源默认，druid的data节点只保留近30天的数据：也可以不同数据源单独配置：...
2020-06-20 17:38:56
534
原创 hive 非正确json格式字段造成查询错误
1. 问题hive查询报错：Diagnostic Messages for this Task:[2020-04-02 05:32:04,360] {bash_operator.py:110} INFO - Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row [Error getting row data
2020-06-20 16:11:18
1133
原创 Flink on yarn 高可用环境配置 high-availability
1. 背景默认情况下一个flink job只启动一个jobManager，因此存在单点故障问题，所以生产环境中需要HA。因为生产环境中基于yarn集群的flink应用场景更多，本文只介绍基于yarn的flink高可用配置。2. 配置配置yarn集群级别AM重启上限# vim yarn-site.xml<property> <name>yarn.resourcemanager.am.max-attempts</name> <value>10
2020-06-20 12:05:37
1302
原创 使用Flink Metric Reporter 对flink任务指标进行监控
从flink1.8版本开始，reporter支持了将指标数据写入influxdb，用户可以自研可视化系统读取influxdb中的数据进行可视化。但是对中小型公司来讲，可能因为成本原因，大多并不会选择自研可视化，我们选择grafana进行flink metrics的可视化。本文主要重点讲述influxdb、prometheus为Reporter，将flink的metrics数据写入外部系统，并使用grafana进行可视化。安装配置方式手把手教学，如下：1. influxdb1.1 启动docker
2020-06-20 11:52:41
7313
1
原创 一次因为kafka分区的leader不为优先副本导致的消费堆积问题的原因排查及问题解决方法
一次因为kafka分区的leader不为优先副本导致的消费堆积问题的原因排查及问题解决方法问题描述首先，收到了消息堆积的报警，查看监控发现延迟如下：接下来用kafka客户端脚本工具，查看具体延迟信息：发现延迟发生在2个partition（12，13）上，且消费者为同一台机器10.42.112.228问题排查过程消费端问题？因为延迟partition的消费者在同一台机器，所以开始怀疑是否消费端存在问题？查看该消费端机器10.42.112.228的cpu、内存、磁盘等状态，未发现明显异常
2020-06-20 11:32:14
703
翻译 Flink中的时态表 Temporal Tables
flink中的临时表（temporal table）是什么，以及怎么创建临时表和临时表函数。临时表表示一个可变表上（参数化）视图的概念，该视图返回表在特定时间点的内容。
2020-06-20 11:17:21
3932
2
原创 服务启动时log4j提示Could not bind factory to JNDI
服务启动时log4j提示WARN SessionFactoryObjectFactory:121 - Could not bind factory to JNDIjavax.naming.NoInitialContextException: Need to specify class name in environment or system property, or as an ap
2015-03-30 18:46:11
970
原创 查询操作 could not resolve property: name of:
<br /> <br />org.hibernate.QueryException: could not resolve property: name of: com.huateng.ebank.entity.data.customer.CustomerInfo [select ci, dd.dataName from com.huateng.ebank.entity.data.customer.CustomerInfo as ci, resource.bean.pub.DataDic as dd wher
2011-02-25 15:08:00
14408
转载 .Oracle数据类型及与DB2比较
<br />字段类型 中文说明 限制条件 其它说明<br />CHAR 固定长度字符串 最大长度2000 bytes<br />VARCHAR2 可变长度的字符串 最大长度4000 bytes 可做索引的最大长度749<br />NCHAR 根据字符集而定的固定长度字符串 最大长度2000 bytes<br />NVARCHAR2 根据字符集而定的可变长度字符串 最大长度4000 bytes<br />DATE 日期（日-月-年） DD-MM-YY（HH-MI-SS） 经过严格测试，无千虫问题<br />L
2011-02-24 14:05:00
4735
原创 linux 打开pdf乱码问题的解决方法
安装poppler-date 和 xpdf-chinese-simplifiedsudo apt-get install poppler-data sudo apt-get install xpdf-chinese-simplified
2010-05-09 15:25:00
1072
原创 oracle 限制用户密码输入错误次数及限制用户每隔一段时间修改密码以确保数据库安全
一、限定用户输入密码错误次数，错误输入超过指定次数后锁定该用户一定时间。 如：指定scott用户最多可错误输入密码3次，超过3此错误输入后锁定该用户2天sql>create profile myprofile limit failed_login_attempts 3 password_lock_time 2;sql>alter user scot profile lock; 二、为了
2010-03-23 00:21:00
5380
原创 oracle忘记sys密码解决
这个其实很简单，不过自己经常忘记，所以记下来 sqlplus /nolog; connect / as sysdba alter user sys identified by ; alter user system identified by ;
2010-01-10 12:25:00
945
原创 C# WinForm开发系列 - WebBrowser
介绍Vs 2005中带的WebBrowser控件使用以及一些疑难问题的解决方法, 如如何正确显示中文, 屏蔽右键菜单, 设置代理等; 收集的文章中有可能还带了一些Asp.Net开发使用微软的WebBrowser进行页面打印方面文章.01. vs2005中的WebBrowser控件的简单应用02. WebBrowser控件的简单应用203. WebBrowser控件应用：弹出新窗体和关
2009-11-28 14:22:00
2698
原创 java读写文件的中文乱码问题
1、JAVA读取文件，避免中文乱码。/*** 读取文件内容* * @param filePathAndName* String 如 c://1.txt 绝对路径* @return boolean*/public static String readFile(String filePathAndName) { String fileContent = ""; try
2009-11-19 10:03:00
929
原创 把html页面的部分内容保存成新的html文件
//保存聊天记录到本地function save_record(){ //取得当前日期作为文件名 var time=new Date(); var filename=time.toLocaleDateString(); //获取当前页面部分内容 var record=$("#contentList").html(); //打开新窗口保存 var winR
2009-11-12 13:40:00
1747
原创 asp.net对图片的读写
写图片c:/1.jpg到表cinfo中private static void AddCinfo() { string strSql = "insert into cinfo (srvtitle,csttitle,introduction,logo) values(@srvtitle,@csttitle,@introduction,@logo)"; Sql
2009-11-11 18:20:00
590
原创 想在在ashx中读写session需要实现System.Web.SessionState.IRequiresSessionState接口
想在在ashx中读写session需要实现System.Web.SessionState.IRequiresSessionState接口
2009-11-09 10:03:00
1541
原创 aspx文件在服务器上打开时没有乱码，但另存为html后保存到本地出现乱码
aspx文件在服务器上打开时没有乱码，但另存为html后保存到本地出现乱码。解决办法：更改aspx文件中部分的charset=utf-8
2009-11-09 10:01:00
1401
通用分页存储过程——节省你的生命，N个存储过程变一个！！该存储过程几乎可以涵盖所有查询存储过程（目前本人还没有发现不能使用的）
2008-09-24
个人财务管理系统，实现了分页查询，向datagridview中增加数据库中不存在的列（C#源码）
2008-09-21
一个可以返回验证码图片的类库（C#源码）
2008-09-03
使ADO.NET的使用变的方便的类库，轻松实现增删改查（含源代码，C#）
2008-09-03
项目开发流程
2008-07-22
SQL帮助
2008-07-22
WIN32API
2008-07-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人