- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 kafka相关问题
1、Kafka的了解 kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要用于大数据实时处理 作用：异步处理、多系统解耦、削峰填谷（缓解服务器的压力） 2、MQ选择用的什么？ Active MQ:由于性能差，不推荐使用 Rabbit MQ:适用于小公司，数据量不是很大，有多语言支持 Rocket MQ:使用于阿里电商项目，阿里就用的这个，可看源码 kafka：适用于大数据，运维成本高 3、kafka作为消息队列是怎么保证数据质量的（不丢、不重复消费） kafka生产者怎
2022-03-30 22:13:32
2075
原创 sql优化总结
sql优化总结 一、大的架构方面： 分库分表、主从读写分离 二索引（查询） 接下来说一下索引： 哪些场景会造成索引生效 1、应尽量避免在 where 子句中使用 != 或 <> 操作符 否则引擎将放弃使用索引而进行全表扫描； 2、尽量避免在 where 子句中使用 or 来连接条件 否则将导致引擎放弃使用索引而进行全表扫描，即使其中有条件带索引也不会使用，这也是为什么尽量少用 or 的原因； 3、对于多列组合索引，不是使用的第一部分，则不会使用索引； 组合索引最左前缀原则 4、如果列类型是字符串
2020-09-09 14:06:23
736
原创 oracle数据导入导出dmp文件
oracle数据导入导出dmp文件 exp/imp 导入导出数据文件 （传统导出导入） exp bto_c2/oss@orcl file=bto_c2_0903_tmp.dmp tables=categorydtl,seriesdtl log=bto_c2_0903_tmp.log imp bto_c2_nm/oss@orcl file=bto_c2_0903_tmp.dmp tables=categorydtl,seriesdtl ignore=y log=bto_c2_0903_tmp.log 不需要
2020-09-03 16:02:00
496
1
原创 oracle中定时任务job
oracle中的job能为你做的就是：在你规定的时间格式里定时执行存储过程，定时执行一个任务 –创建job及运行： variable job2010 number; begin dbms_job.submit(:job2010,'spgenchanneluseroneday;',sysdate,'sysdate+1/24'); end; / begin dbms_job.run(:job2010); end; / commit; –重启job（可以用上面那个方式也可以直接启动） select * from
2020-07-01 14:46:50
691
原创 shell date日期函数处理
获取今天时期：date +%Y%m%d 或 date +%F 或 $(date +%y%m%d) 获取昨天时期：date -d yesterday +%Y%m%d 获取前天日期：date -d -2day +%Y%m%d n天前的 date -d "n days ago" +%y%m%d 明天：date -d tomorrow +%y%m%d 注意以上中间有空格 1个小时之前的：date -d -1hour +'%Y-%m-%d %H:%M:%S' 要注意不是单引号是符号 date -d 是固定格式 写参数
2020-06-16 15:28:31
4512
1
原创 hadoop fs 常用命令
查询hdfs系统的目录结构： hadoop fs -ls /test/gonganbu/scene_analysis_suggestion/* 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hadoop
2020-06-13 18:48:21
1748
1
图书管理系统
2017-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人