大数据
关注
分享
扫一扫
IT爱好者123456
熟练掌握Linux操作系统的基本操作及shell编程；
熟练掌握前端技术html,css,javascript，jquery，jqueryUI；
熟练常用框架Hibernate,Jpa,Spring，mybatis，struts2等；
熟悉Oracle和MySQL数据库，能结合项目需求独立完成数据库设计，存储过程，视图的编写，掌握基本的数据库性能优化；
熟练掌握Java与Js以及C与C++之间的通信，以及WebService技术；
熟悉Tomcat，JBOSS服务器及EJB技术。
熟悉solr，lucene搜索引擎技术
熟悉mina，netty消息推送
熟悉jboss消息队列， activeMQ消息队列
熟悉maven，nginx，freemarker，Memcached, redis，dubbo等
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive下的hdfs文件删除了， spark做汇总，报InvalidInputException: Input path does not exist
删除了hive的分区文件， 但是hive的分区未删除， 导致spark汇总报错。解决办法：show partitions t_name;hadoop fs -ls /user/hive/warehouse/t_name/end_day=xxx/end_time_hour=xxx做比较， 将删除的文件对应的分区删除。alter table t_name drop partition (end_day=20200604,end_time_hour=0);重新执行spark汇总即可。..原创 2020-06-05 19:21:36 · 573 阅读 · 0 评论 -
Hive SQL自带函数总结
字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length(‘abcedfg’) from dual;7字符串反转函数：reverse语法: reverse(string A)返回值: string说明：返回字符串A的反转结果举例：hive> select reverse(‘abcedfg’) from dual;gfdecba字符串连接函数：...转载 2020-06-04 12:27:46 · 837 阅读 · 0 评论 -
azkaban的安全漏洞，禁用TRACE
azkaban的安全漏洞： Sun Java System Application Server 7和7 2004Q2的默认设置可以启动HTTP TRACE路径， 更易于远程攻击者通过一个跨站追踪工具窃取cookies和验证信任， 该问题与CVE-2004-2763和CVE-2005-3398相关参考azkaban的githubhttps://github.com/azkaban/azkaban/pull/2044https://github.com/azkaban/azkaban/pull/2原创 2020-05-19 14:26:51 · 1295 阅读 · 0 评论 -
kafka topic删除失败
kafka-topics --list --zookeeper node1:2181,node2:2181,node4:2181kafka-topics --delete --zookeeper node1:2181,node2:2181,node4:2181 --topic ods_uinfo_topic发现被标记为marked for deletion登录cdh的cm的web，发现de...原创 2020-04-30 11:57:04 · 1333 阅读 · 0 评论 -
SparkSQL将小文件合并
1、设置配置 spark.sql("set hive.exec.dynamic.partition=true") spark.sql("set hive.exec.dynamic.partition.mode=nonstrict") spark.sql("SET spark.sql.shuffle.partitions=1") //优化，防止生成很多的小文件2、进行inser...原创 2020-04-27 11:16:34 · 2667 阅读 · 2 评论