- 博客(140)
- 资源 (4)
- 收藏
- 关注
RSS订阅
转载 三阶魔方公式
转自https://jingyan.baidu.com/article/f54ae2fcde34be1e92b849d4.html下该使用那几百种公式中的哪一种。可是很多新人不喜欢背公式，也不习惯记忆诸多颜色分布情况，所以我把我初学魔方时认为最容易记忆的方法推荐给新人们，希望这个教程可以帮助你们。当熟悉了这个方法之后，就可以再学习更多高级方法，认知更多颜色分布。因为这个方法有很多的...
2019-11-06 20:27:34
2617
1
原创 Java时区
public static void main(String[] args) throws InterruptedException { //Arrays.stream(TimeZone.getAvailableIDs()).forEach(x-> System.out.println(x)); TimeZone japanTimeZone = TimeZone.getTimeZone("Japan"); TimeZone.setDefaul
2023-11-13 17:54:58
193
原创 fink 写 starrocks all partitions have no load data
改 flink-connector-starrocks 版本 从 1.2.5_flink-1.13_2.11 改成1.2.1_flink-1.13_2.11。flink 1.13.5 写 starrocks 2.3 报问题。
2023-02-27 17:35:46
1239
原创 java 查看对象内存占用大小
1、POM 依赖<dependency> <groupId>com.carrotsearch</groupId> <artifactId>java-sizeof</artifactId> <version>0.0.5</version></dependency>/2、java 代码通过RamUsageEstimator 查看内存占用大小 String str = "xxx";
2022-04-27 17:24:29
2045
原创 Java 基础
1、ArrayList 的subList 方法返回的是ArrayList的内部类 SubList，并不是 ArrayList 而是 ArrayList 的一个视图，对 于 SubList 子列表的所有操作最终会反映到原列表上。
2021-12-18 12:08:28
161
原创 两个单向链表相加
输入两个链表,每个节点数字0-9L1 : 1->2->3L2 3->8->4两个链表对应数字相加，满10要进位，得到L : 4->0->8public class NodeListDemo { public static Node addNodeList(Node head1, Node head2) { Node head = null; Node node = null; ...
2020-09-02 10:24:16
296
原创 ES 建索引
ES 建动态模板索引，设置String 类型写入时，在ES里面设置索引类型为keyword ,避免提前建索引。PUT /index_name{ "settings": { "index": { "number_of_shards": "5", "refresh_interval": "5s", "number_of_r...
2020-04-29 13:54:07
418
原创 Flink
配置：TaskManager slots number配置这个参数是配置一个TaskManager有多少个并发的slot数。有两种配置方式：taskmanager.numberOfTaskSlots. 在conf/flink-conf.yaml中更改，默认值为1，表示默认一个TaskManager只有1个task slot. 提交作业时通过参数配置。--yarnslots 1，表示T...
2020-04-21 10:04:18
764
原创 k8s tomcat+mysql 入门实例
文件：mysql-rc.yamlapiVersion: v1kind: ReplicationControllermetadata: name: mysql-rcspec: replicas: 1 selector: app: mysql-pod template: metadata: labels: app: mysql-po...
2019-05-16 23:36:00
705
转载 k8s contianer 和pod的关系
前言蜂巢（现已更名为网易云计算基础服务）上线的微服务有两大类，有状态和无状态，两者有很大区别，除了有状态服务可以挂盘、带公网这种比较表面的区别以外，其实它们在底层调用k8s的实现上也有很大区别。这里列出两个不同类型的服务的结构简图。有状态服务：无状态服务：可以看出来pod无论在无状态服务和有状态服务都是一个核心概念。而在服务创...
2019-05-14 20:47:48
13340
2
原创 HIve left join on 条件里写常量等值操作
有两张表，user1和user2user1：hive> select * from user1;OKuser1.id user1.name1 name12 name23 name1 user2:hive> select * from user2;OKuser2.id user2.age1...
2018-09-20 10:21:28
2324
原创 1-spark编程基础
采用maven编程，在pom.xml中添加需要的jar包<properties> <scala.version>2.11.8</scala.version> <spark.version>2.1.0</spark.version> <hadoop.version>2.7.3<...
2018-07-13 15:34:28
479
转载 网络IP地址分类
IPv4地址分为A,B,C,D,E类:A类:1.0.0.0~126.255.255.255,默认子网掩码/8,即255.0.0.0 (其中127.0.0.0~127.255.255.255为环回地址,用于本地环回测试等用途)；B类:128.0.0.0~191.255.255.255,默认子网掩码/16,即255.255.0.0；C类:192.0.0.0~223.255.255.255,默认子网掩码...
2018-07-12 19:33:43
436
原创 linux mysql 设置编码
首先查找MySql的cnf文件的位置：[root@bdpp10 sfapp]# find / -iname '*.cnf' -print/etc/myback.cnf/etc/pki/tls/openssl.cnf/etc/my.cnf/usr/share/mysql/my-innodb-heavy-4G.cnf/usr/share/mysql/my-medium.cnf/usr/share/m...
2018-04-24 10:58:25
786
原创 java几种代码块的执行顺序
普通代码块：普通方法体中的代码,方法被调用时执行静态代码块：用static修饰的代码 例如 static{},类加载的时候支持，只执行一次构造代码块：直接用大括号括起来的代码块，没有方法名，没有返回类型，例如{}，对象被new的时候调用，构造对象时，先执行构造代码块里的代码，再执行构造函数里的代码，每次new对象的时候，构造代码块里的代码都会被执行同步代码块：用synchronize注释的代码，...
2018-04-04 15:56:16
749
原创 jstorm 问题
1 运行topology时提示work数量不够。或者没有活着的supervisor,Failed to make assignment xxxx, due to no alive supervisor 但是从集群运行正常，启动supervisor的时候也没有报错。分析：查看后发现master和supervisor的系统时间不一样,supervisor所在机器的时间比nimbus所在机器的
2017-12-26 15:07:59
876
原创 mvn 打包 把依赖包也加入到jar包中
在pom文件里加入如下配置 maven-assembly-plugin false jar-with-dependencie
2017-12-14 20:09:53
1540
原创 spark写数据到装有searchgard的ES集群
增加配置信息val conf = new SparkConf()conf.setAppName("etl_data_to_es")conf.set("es.net.ssl", "true")conf.set("es.net.ssl.truststore.location", "truststore.jks")conf.set("es.net.ssl.protocol", "TLSv1
2017-12-11 10:54:49
1416
转载 深入理解Java的接口和抽象类
转自https://www.cnblogs.com/dolphin0520/p/3811437.html对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲：
2017-12-08 11:48:08
310
原创 maven 打包 jar包运行出错
问题：(reason: Uncaught exception: java.lang.SecurityException: Invalid signature file digest for Manifest这是打包中的问题解决办法：zip -d yourjar.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'
2017-12-06 14:06:23
2023
原创 es 配置
官网信息 https://www.elastic.co/guide/en/elasticsearch/hadoop/master/configuration.htmles.nodes.wan.only (default false)Whether the connector is used against an Elasticsearch instance in a cloud
2017-12-04 18:05:42
1696
原创 oracle PLSQL配置文件
ORACLE_HOME\instantclient_11_2\NETWORK\ADMIN\tnsnames.ora 配置oracle连接信息222.222.222.222 = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 222.222.222.222)(PORT =
2017-11-21 13:50:03
1190
原创 hive 数字长度控制
hive 数字如果想存储为String，数字太长会存储为科学计数法，如果不想这样，可以用printfselect cast(34343424.5534324 as string) from table;结果3.43434245534324E7select printf("%.2f",34343424.5534324 as string) from table;结果3
2017-11-16 17:47:31
10907
原创 es 建索引时指定分片数据和副本数
1指定分片数量 "number_of_shards":82指定副本数量 "number_of_replicas" : 13指定刷新时间30s,写入数据时，查看到的数据与真实数据有30s的延时 "refresh_interval":"30s"4禁用_all 字段 "_all":{ "enabled": false}curl -XDELETE 'http://'
2017-11-04 15:11:45
10813
原创 curl 发送http 请求
curl 模拟post请求后面 >>aa.txt是将输出重定向，也可以不写curl -H "Content-Type:application/json" -X POST --data '{"invoice_id":"051","bill_number":"1","doc_total":12,"file_dir":"/nfsc/EIS_CORE/ESG-TPI-CORE/BB01","r
2017-10-18 20:50:03
864
1
原创 spark 问题
Q:Application application_1505791560225_0911 failed 2 times due to AM Container for appattempt_1505791560225_0911_000002 exited with exitCode: -1000For more detailed output, check application trac
2017-10-15 15:28:51
1481
原创 shell 脚本
for循环，调用名，传入不同的日期参数for i in `seq -f %02.0f 17 30` dosh test.sh 201709$idone
2017-10-12 15:59:26
304
原创 sqoop mysql 抽到hive
#默认抽昨天的数据，如果传入日期，则抽取传入日期那天的数据dt=`date -d "1 days ago" +"%Y%m%d"`if [ $# -eq 1 ];thendt=`date -d "$1" +"%Y%m%d"`fiecho $dtHIVE_DB_NAME=bdpaMYSQL_HOST="10.202.12.12"
2017-10-12 15:38:22
518
转载 linux 删除文件还是报错磁盘不足
源文章地址：http://blog.youkuaiyun.com/mr253727942/article/details/38361469这几天做LINUX实验的时候，发觉自己删除了一个大文件后用 df -h 指令检测磁盘空间，发现空间并没有减少，后来仔细查询，总结出以下三种不释放内存的可能：一、该文件已经建立硬链接这个原因很简单，hardlink是指多个文件名指向同一索引点（ino
2017-09-19 18:07:42
722
转载 查看cpu 信息
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores
2017-09-13 17:34:38
336
转载 linux 安装expect
http://blog.youkuaiyun.com/supingemail/article/details/46680539简介Linux 上expect 在做SSH通路的时候，是非常不错的东西，那么怎么安装呐？安装方式有三种，yum命令(有网络的情况)；tar安装包(么有网络)；rpm 包安装(么有网络)yum安装 yum install expe
2017-08-22 21:10:38
719
原创 hbase 问题
问题：解决办法：WARN [regionserver/CNSZ22VL3579/10.202.43.134:16020] wal.ProtobufLogWriter: Failed to write trailer, non-fatal, continuing...org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs
2017-08-11 14:07:04
1687
原创 ES5.4.1 命令
1count 命令curl -XGET 'http://10.202.33.206:9200/incbdpiforder/_count' -d'{"query":{"range": {"timestamp":{"gt": "now-5m","lt": "now"}}}}'2删除命令 incDay是字符串类型，格式：2017-10-10curl -XPO...
2017-08-03 19:57:50
588
原创 hive 数据写入es
环境：es 2.2.1 hadoop 2.7.3hive 2.2.1利用插件讲hive里面的数据写入es在es可下载插件 elasticsearch-hadoop-2.2.0.jar比如要把basic_table里的数据写到es里面1、首先则hive里面建表drop table if exists basic_table_es;create
2017-07-28 15:22:37
2186
原创 hive 参数设置
name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks1表示不reuse，-1表示无限reuse，其他数
2017-07-12 14:04:07
482
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人