- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 kafka相关问题
1、Kafka的了解kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要用于大数据实时处理作用：异步处理、多系统解耦、削峰填谷（缓解服务器的压力）2、MQ选择用的什么？Active MQ:由于性能差，不推荐使用Rabbit MQ:适用于小公司，数据量不是很大，有多语言支持Rocket MQ:使用于阿里电商项目，阿里就用的这个，可看源码kafka：适用于大数据，运维成本高3、kafka作为消息队列是怎么保证数据质量的（不丢、不重复消费）kafka生产者怎
2022-03-30 22:13:32
2021
原创 sql优化总结
sql优化总结一、大的架构方面：分库分表、主从读写分离二索引（查询）接下来说一下索引：哪些场景会造成索引生效1、应尽量避免在 where 子句中使用 != 或 <> 操作符否则引擎将放弃使用索引而进行全表扫描；2、尽量避免在 where 子句中使用 or 来连接条件否则将导致引擎放弃使用索引而进行全表扫描，即使其中有条件带索引也不会使用，这也是为什么尽量少用 or 的原因；3、对于多列组合索引，不是使用的第一部分，则不会使用索引；组合索引最左前缀原则4、如果列类型是字符串
2020-09-09 14:06:23
655
原创 oracle数据导入导出dmp文件
oracle数据导入导出dmp文件exp/imp 导入导出数据文件 （传统导出导入）exp bto_c2/oss@orcl file=bto_c2_0903_tmp.dmp tables=categorydtl,seriesdtl log=bto_c2_0903_tmp.logimp bto_c2_nm/oss@orcl file=bto_c2_0903_tmp.dmp tables=categorydtl,seriesdtl ignore=y log=bto_c2_0903_tmp.log不需要
2020-09-03 16:02:00
417
1
原创 oracle中定时任务job
oracle中的job能为你做的就是：在你规定的时间格式里定时执行存储过程，定时执行一个任务–创建job及运行：variable job2010 number;begindbms_job.submit(:job2010,'spgenchanneluseroneday;',sysdate,'sysdate+1/24');end;/begindbms_job.run(:job2010);end;/commit;–重启job（可以用上面那个方式也可以直接启动）select * from
2020-07-01 14:46:50
567
原创 shell date日期函数处理
获取今天时期：date +%Y%m%d 或 date +%F 或 $(date +%y%m%d)获取昨天时期：date -d yesterday +%Y%m%d获取前天日期：date -d -2day +%Y%m%dn天前的 date -d "n days ago" +%y%m%d明天：date -d tomorrow +%y%m%d注意以上中间有空格1个小时之前的：date -d -1hour +'%Y-%m-%d %H:%M:%S'要注意不是单引号是符号 date -d 是固定格式 写参数
2020-06-16 15:28:31
4193
1
原创 hadoop fs 常用命令
查询hdfs系统的目录结构：hadoop fs -ls /test/gonganbu/scene_analysis_suggestion/*随机返回指定行数的样本数据hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据hadoop
2020-06-13 18:48:21
1660
1
图书管理系统
2017-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人