- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 spark调优
spark调优内存调优内存管理概述确定内存占用量优化数据结构序列化的RDD存储优化垃圾回收其他注意事项并行度reduce task的内存使用情况广播大的变量数据本地性来自官网翻译内存调优每个独立的对象都有一个16bytes的对象头，包含一些例如类的指针等这些信息。如果对象数据本身很小，但是由于携带了对象头，就会占用更多的空间java String类型比原始字符串数据多占用40bytes（...
2018-11-19 17:29:57
242
原创 docker日志发往fluentd
docker启动时添加如下参数：docker run --log-driver=fluentd --log-opt fluentd-address=ip:port --log-opt tag="tag"其中tag可用如下参数替换，更多查看logging context.{{.ID}}The first 12 characters of the container I
2017-11-02 17:40:06
1359
原创 AngularJS2 学习笔记（一）
How WorksEach components is composed of three parts: • Component Decorator • A View • A ControllerThe @Component is called a decorator. It adds metadata to the class that follows it . The @Componen
2017-04-27 13:48:30
455
原创 AngularJS 学习笔记（一）
属性以ng开头 为适应h5可以用data-ng开头<div ng-app="" ng-init="person={firstName:'John',lastName:'Doe'}"><p>姓为 {{ person.lastName }}</p></div>ng-init的值可以为对象如上例或数组，points=[1,15,19,2,40]ng-model ng-init ng-bind
2017-04-26 00:06:18
304
原创 Flink学习记录(一)
基本上来自官网的翻译 flink启动后，会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。取决于数据源的类型，静态或非静态的
2017-04-25 15:38:39
2455
原创 Hbase数据迁移（二）
总结一下这两天hbase迁数据的过程Import导入 直接使用import导入hbase的时候实在太慢，并且占用的yarn资源也很多，对yarn上的其他应用资源的申请影响很大bulkload导入 后来改用先生成hfile，然后用LoadIncrementalHFiles导入，用import和importTsv都可以生成hfile，但是这样也有个问题就是生成的storefile很大，并且有序的
2017-04-22 11:52:10
1963
原创 Hbase 数据迁移（一）
Hbase的数据迁移方式1.使用Export/Import格式：hbase org.apache.hadoop.hbase.mapreduce.Export table /user/table [versions] [starttime] [stoptime] hbase org.apache.hadoop.hbase.mapreduce.Import table
2017-04-19 13:58:48
461
原创 scala implicit
implicit 可用于变量 伴生对象 参数 方法object Math { trait NumberLike[T] { def divide(x: T, y: Int): T } object NumberLikes { implicit object NumberLikeDouble extends NumberLike[Double] { def
2017-04-13 17:46:25
224
原创 CDH版solr安装IKAnalyzer
命令生成的collection文件夹中改IK的配置貌似没用在/data/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/solr/webapps/solr/WEB-INF/ 目录下创建文件夹classesIKAnalyzer.cfg.xml和自定义的停词库和语料库放在classes文件夹中schema.xml的types
2017-04-06 18:21:35
890
原创 CDH 安装spark2 缺包
在/etc/spark/conf/目录下把老的spark的classpath.txt spark-env.sh 复制到/data/cloudera/parcels/SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100/etc/spark2/conf.dist/下,/etc/spark2/conf是该目录的链接，然后修改spark-env.sh中SPARK_H
2017-03-31 10:41:11
2039
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人