- 博客(176)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 阿里云智能事业群招人！
阿里云智能事业群招人！有意愿的朋友，请简历发送给我：yewei.oyyw@alibaba-inc.com※ 团队介绍阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模 OLAP 数据库产品，包括分析型数据库 AnalyticDB、数据湖分析 Data Lake Analytics、时序数据库、硬件加速等，产品服务于阿里巴巴公有云、专有云的众多客户关键业务，同时服务于阿里巴巴集团内部众多数据分析类业务。岗位1：阿里云智能事业群-数据库平台技术研发专家-杭州/北京/深圳【期望
2020-07-27 15:08:57
4401
原创 [Linux]Linux Shell多进程并发以及并发数控制
Unix是一个多任务系统，允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后，其后紧跟&字符，该命令就会被送往到linux后台执行，而终端又可以继续输入下一个命令了。
2016-09-12 12:56:59
29801
7
原创 分布式可视化作业调度平台 DolphinScheduler：MasterServer
Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使得调度系统在数据处理流程中开箱即用
2022-10-08 17:03:19
40980
1
原创 KAFKA 海量吞吐低延迟技术解密：KafkaController
1、导读KAFKA是基于Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与KAFKA集成。本文将基于KAFKAv1.1.0版本源码，探讨KafkaController的启动流程、选举流程、脑裂问题和事件队列模型。笔者水平有限，若有不当之处，敬请指正。2、Controller...
2022-03-12 17:21:01
14554
原创 KAFKA 海量吞吐低延迟技术解密：KafkaProducer
1、导读笔者在生产交付的项目中使用了KAFKA，为了更好地掌握KAFKA，业余时间阅读了部分源码。KAFKA生产者的代码中有很多的精妙绝伦的设计，非常值得借鉴学习。本文将探讨KafkaProducer的消息发送流程、高并发场景下消息的缓冲机制、缓冲机制是如何通过分段加锁和读写分离巧妙提升吞吐和并发的、为减少频繁FGC设计的内存池、消息重复发送和消息丢失的场景。笔者水平有限，若有不当之处，请不吝指正。2、消息发送的流程KAFKA生产者客户端分别由主线程和Sender线程协调...
2022-03-03 18:05:09
20570
原创 [基础工具]离线数据立方体构建工具
在数据的实际使用过程中，我们经常需要进行多维度的组合汇总，做一个数据立方体。常见的方法是在各个维度下进行group by，建立多个任务，这样不利于代码查看和维护，同时也浪费开发时间
2017-11-14 17:17:20
2252
原创 [运维]ELK实现日志监控告警
ELK（Elasticsearch+LogStash+Kibana），最近使用ELK处理了一些平台日志，下面以「mysql连接数监控」记录部署流程
2017-02-09 19:10:01
54226
原创 [问题记录]Unsupported major.minor version 52.0
背景jdk1.7升级到jdk1.8，运行时报错。 报错原因是高版本的jdk运行在低版本的jre上原因一：本地Java环境尚未更新使用命令java -version检查本地java环境，保持一致 如果是windows下，配置了JAVA环境后需要重启电脑，才能生效原因二：检查IDE配置以Intellij IDEA为例Go to Maven Settings -> Maven -> Impo
2016-12-20 12:56:03
1236
原创 [问题记录]log4j使用记录
步骤一：maven配置依赖https://mvnrepository.com/artifact/log4j/log4j/1.2.16步骤二：IDEA加入log4j.properties文件File->Project Structure 将log4j.properties文件放入resources文件夹中 步骤三：配置log4j.properties文件输出到控制台输出到../logs/tas
2016-12-14 20:27:16
649
原创 [问题记录]hdfs删除文件提示rmr: Failed to move to trash
问题/现象使用hadoop fs -rmr xxx删除hdfs上的文件失败$ hadoop fs -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0rmr: Failed to move to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=
2016-12-08 14:45:45
8719
原创 [Mysql]Mysql常用命令
1. 常规操作进入数据库use market;改变字符编码charset utf8;导出数据mysql \-h 10.0.2.54 \-P 3307 \-u marketuser \-e "use market; charset utf8; select * from RPT_ONLINE_KPI;" \-p | sed 's/\t/,/g' > ./rpt_online_kpi_2015
2016-09-17 01:28:34
3815
原创 [Storm]Storm流控制
一个流分流到多个流在storm中，将一个流分流到多个不同的流中。 参考代码： main部分// tracker解析器topologyBuilder.setBolt( "TrackerBolt", new TrackerBolt(), 2).shuffleGrouping("KafkaFilterBolt");// 点击数统计topolog
2016-09-17 01:25:23
4010
原创 [Hive]Hive指定查询输出分隔符
业务场景做数据分析的时候，经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果，然后再将查询结果放到Excel等工具中，但是如果查询的字段太多，这时候将查询结果放到Excel会经常会碰到错位问题，很是头疼.解决方案一：借助linux管道替换输出分隔符样例如下：# 方法一：sedhive -e "select * from pms.pms_algorith
2016-09-17 01:21:16
34194
原创 [Hive]Hive执行脚本的方式以及转义字符
1. hive脚本的执行方式hive脚本的执行方式大致有三种： 1. hive控制台执行； 2. hive -e "SQL"执行； 3. hive -f SQL文件执行；参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive
2016-09-17 01:20:08
33228
3
原创 [Hive]Hive静态分区与动态分区
1. 静态分区若分区的值是确定的，那么称为静态分区。下面举例一个业务场景： 统计程序每天都需要统计1号店中由精准化推荐带来的销售额，日期是确定的，现在需要将每天统计好的销售额数据插入到指定的日期分区中1.1. 实现方式参见如下的脚本：hive -e "--设置Hive Job任务队列set mapred.job.queue.name=pms;--创建精准化销售额数据汇总表create t
2016-09-17 01:15:52
7064
原创 [Linux]Linux重定向
>outfile 2>&1 与 2>&1 >outfile 的区别关于重定向，有一个疑问就是为什么这两个Bash Shell写法，得到的结果会不一样：$ cat oyyw >outfile 2>&1$ cat outfile cat: oyyw: 没有那个文件或目录和$ cat oyyw 2>&1 >outfilecat: oyyw: 没有那个文件或目录解惑搜集了一部分资料以后，解答如下：顺序
2016-09-17 01:12:25
3921
原创 [Linux]Linux Shell脚本参数传递
1. shell脚本的默认变量下面用一个shell脚本来描述shell脚本的默认变量[ouyangyewei@localhost workspace]$ cat learn_argument.sh #! /bin/bash## check arguments##-----------------if [ $# -lt 3 ]then echo "Error! Not Enough A
2016-09-17 00:53:43
6458
原创 [Hive]关于Hive的启动问题
业务背景用户轨迹工程脚本最近经常报错，报错如下：SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called bu
2015-05-12 13:45:20
5352
修改注册表使VC++6.0与MSDN建立连接
2013-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人