qingyang0320的专栏

原创 4个命令设置Windows下docker的镜像存放目录

4个命令设置Windows下docker的镜像存放目录

原创 Jenkins运行在docker中使用Maven构建Java应用程序

​Jenkins入门教程使用Maven构建Java应用程序的一个补充说明

原创 keystore文件里PrivateKeyEntry错误配置导致TLS连接失败

某银行客户的cluster里同时安装了Spectrum Symphony + Spectrum Conductor，属于multihomed模式。这种安装和配置是支持的，详情可以参考IBM文档。出于安全要求，他们在tier 2和tier 3启用了TLS，详情参考IBM文档。结果是，在tier 3一切顺利，访问网页没有问题；但是在tier 2却遇到了问题，报错如下。因为只有tier 2才有问题而tier 3没问题问题，而且tier 2和tier 3的certificate都放在相同的keystore里，所以我

原创 一文读懂HTTP, HTTPS, SSL和TLS

目录名词介绍HTTP：HTTPS：SSL：TLS：HTTPS实现原理 一、为什么要用HTTPS ？二、HTTPS 怎么实现的？ 数字证书 CA (Certificate Authority)概念及原理数字证书包含的内容证书制作过程证书验证过程 解答几个疑问1. 什么是对称加密和非对称加密？2. 为什么证书验证采用非对称加密，数据传输采用对称加密？3. 在证书验证阶段，为什么需要CA认证机关办理的证书？4. 在上面的提到的公钥，是验证阶段使用的重要验证依据，怎么保证拿到的公钥没有被篡改呢？5. 什么是keys

原创 记一次使用Windbg分析内存“泄漏”的案例

WinDbg分析dump，总结下来，在这个case里下面几个命令比较相关和实用。

原创 Windows下使用UMDH抓取内存分配以分析内存泄漏

使用UMDH抓取IBM Spectrum Symphony环境下的核心进程vemkd的core dump文件

原创 使用Jmeter虚拟化table失败

最近在自动化IBM的CP4D的Data Virtualization这个功能的时候，遇到一个花费了不少功夫才找到根源的问题，在次记录一下，也与大家分享

原创 OpenShift常用管理命令杂记

简单记录平时常用的OpenShift命令

原创 使用keytool从.jks文件获取SSL certificate

使用keytool从.jks文件获取SSL certificate

原创 AWS上的独立Spectrum Symphony集群连接本地SMC的最佳实践

Starting from Spectrum Symphony 7.2.1, Symphony Multiple Cluster (SMC) feature allows outbound connection to the lone cluster. Here “outbound” is corresponding to historical “inbound”, meaning previously it was only allowed the lone cluster to initiate con

原创 解决git命令You must use a personal access token or SSH key的问题

今天在操作中遇到一个问题，如下$git fetch upstreamUsername for 'https://github.xyz.com': abcdefgPassword for 'https://abcdefg@github.xyz.com':remote: Password authentication is not available for Git operations.remote: You must use a personal access token or SSH k..

原创 AWS SAA-C02真题7

原创 AWS SAA-C02 真题6

原创 AWS SAA-C02真题5

原创 AWS SAA-C02真题4

4. A solutions architect is designing a solution to access a catalog of images and provide users with the ability to submit requests to customize images.Image customization parameters will be in any request sent to an AWS API Gateway API. The customized i.

原创 AWS SAA-C02真题3

3. A company runs an internal browser-based application. The application runs on Amazon EC2 instances behind an Application Load Balancer. The instances run in an Amazon EC2 Auto Scaling group across multiple Availability Zones. The Auto Scaling group scal

原创 AWS Certified Solutions Architect - Associate 认证攻略

AWS SAA是Amazon推出的助理级别认证，不需要任何先决证书都可以考。SAA过了之后可以考SAP(Professional)即专家级别。在国内考试，比方说在Personal VUE，可以选择中文或英文；如果选择英文考试，对于英语非母语的candidate，可以提前申请额外时间(默认考试时间130分钟，考题65道)。如何提前申请额外考试时间，请参考AWS英文考试如何提前申请额外30分钟笔者上周2021-11-19日参加SAA-C02的考试，很“荣幸”地分配了7个多选题给我，而头一天考试的一兄弟才一道

原创 AWS英文考试如何提前申请额外30分钟

1选择All登录账号 AWS training and certification2进入账户3选择Request Exam Accommodations4点击Request Accommodation5选择ESL+30 minutes，然后create就可以了，返回的界面即显示approved。

原创 AWS常见缩写

ACM: AWS Certificate ManagerAMI: Amazon Machine ImageASG: Auto Scaling GroupAZ: Availability ZoneBeanstalk: service that deploys, manages and scales web app and servicesCDN: Content Delivery Network内容分发网络，将大量下载的负担从单个服务器转移到位于不同位置的多个服务器。CI/CD: co

原创 AWS SAA-C02真题2

2. A company has a multi-tier application that runs six front-end web servers in an Amazon EC2 Auto Scaling group in a single AZ behind an ALB. A solution architect needs to modify the infrastructure to be highly available without modifying the applicatio.

原创 AWS SAA-C02真题1

AWS SAA-C02真题讲解

原创 mount: wrong fs type, bad option, bad superblock on xxxx

新安装的RHEL7.7系统，尝试去挂载一个网络文件系统的时候，报错如下：[root@srv1 ~]# mount -t nfs cnbjfs06.eng.com:/data/data/internet /mntmount: wrong fs type, bad option, bad superblock on cnbjfs06.eng.com:/data/data/internet, missing codepage or helper program, or other erro...

原创 Windows下unzip解压缩遇到的warning: xxx appears to use backslashes as path separators

IBM Spectrum Symphony是基于SOA架构的分布式计算框架，它能在自由伸缩的共享集群中，为计算密集型和数据密集型的应用提供强大的企业级管理。Symphony有一个配置是这样的，在应用的profile里头，有个方法是Register，可以配置成actionOnSI="blockHost"。这样当某service实例在Register方法中由于某种原因而失败的话，计算节点就会被阻止加入到计算，Symphony会从资源组里分配其他可用的计算节点参与运算。某天，客户报了这么个问题。.

原创 Azure计算节点无法连上本地主节点，原来是MTU惹的祸

IBM Spectrum Symphony 是基于SOA架构的分布式计算框架，它能在自由伸缩的共享集群中，为计算密集型和数据密集型的应用提供强大的企业级管理。而且，Symphony能加快多个并行应用以更快地得出结果以及更好地使用所有可用资源。利用Symphony，公司可以提高IT性能，减少基础设施成本，以更快地满足商业需求。受益于Symphony底层优秀的资源调度框架EGO、由C++实现的中间件SOAM，Symphony的性能和可扩展性都极为优秀，在金融衍生品的定价以及风险模拟等金融领域得到广泛的应用。

原创 执行openstack命令报错

[root@server ~]# openstack extension list --networkMissing value auth-url required for auth plugin passwordRCA：没有source环境变量导致。在家的时候操作是没有问题的，因为我按文档export了环境变量，如下。export OS_PROJECT_DOMAIN_NAME=Defaultex...

原创 理解Spark RDD中的aggregate函数

针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。首先，Spark文档中aggregate函数定义如下def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U

原创 为什么在Nodes of the cluster页面没有显示所有的node？

启动整个Hadoop集群：[root@sparkmaster ~]# start-dfs.sh[root@sparkmaster ~]# yarn-daemon.sh start resourcemanagerstarting resourcemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-resourcemana

原创 Wrong FS: hdfs://******, expected: file:///

运行spark-submit遇到如下报错：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected: file:///原因：conf.addResource(file:Path)的参数需要是一个Path类的实例，而不是String类的实例，所以如果这么写是不对

原创 启动namenode失败：FATAL error

namenode log报错如下：FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/n

原创 克隆或复制VMware虚拟机时的网络设置

在clone之后的虚拟机里，启动之后更改MAC地址和设备文件名。[root@sparkworker1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:16:ED:6A"IPV6INIT="yes"NM_CONTROLLED="y

原创 java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8

在Eclipse里开发spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错：ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8. Please u

原创 Scala写的wordcount

参照文档加以修改和深化，mark一下package myworkimport java.io.Fileimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject WordCount { def main(arg

原创 Exception in thread "main" java.lang.NoClassDefFoundError: xxx (wrong name:xxx)

今天用Eclipse编了个小程序，功能是将输入的金额转换成大写表示，比如我们转账的时候，输入1000，会提示“壹仟元整”。程序包括一个class，里面有4个函数：convert()--主转换函数getInteger()--获取输入数字的整数部分getDecimal()--获取输入数字的小数部分numReplace()--替换掉尾部的0的数代码如下：package

原创 scala的for循环

Scala没有与Java对应格式的for循环结构，但是Scala的for循环更加灵活。结构格式如下：for (i    do something  }其中i不用val或var提前声明，直接用，加上val或var反而报错；1 to n表示需要循环的范围，注意，to形成的是包括边际的范围，此即包括1和n。如果需要多重循环，还可以用分号隔开后再加一范围，如下：for (i

原创 linux下安装eclipse开发Spark程序

今天成功在eclipse下开发了一个简单的Scala版WordCount，并在spark集群成功运行（standalone模式）。做个笔记mark一下前提安装了jdk，我的环境是1.7.0_79安装包Eclipse：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gzScala：scala-2.10.6.rpm 下载

原创 spark-submit 错误： ava.lang.ClassNotFoundException: WordCount

今天整了一上午，终于在spark上跑出来了这个程序。在eclipse上编了个简单Scala程序，code如下package spark.wordcountimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfob

原创 启动Hadoop集群

有两种方式启动集群：分步启动和集中统一启动。以下执行环境是在一个有2个节点的集群当中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1在namenode上统一启动整个集群的方法首先，要在$YARN_HOME/etc/hadoop/下新建几个文件：1.slaves，里面写上全部的datanode的hostname

原创 c++中的引用

下面这个例子体现引用在c++里的作用。先解释一下什么是引用。引用在c++中实际是对象的别名，定义引用的格式是"type & name = object"。即是，如果有一个对象object，而name是object的引用，那么object和name实际是一个东西的两个不同名字(不是副本)。比方说：int i;int & j = i;那么i和j完全是一个东西，都是int型回

原创 c++中使用new动态分配存储空间

下面这个例子，检验new给double型数组分配的存储空间的首地址是多少。s是指向这个数组的指针，s+1即是指针移动一位，指向下一个元素。[root@sparkmaster test]# cat NewArray.cpp#include int main(){ double * s; int i; s = new double[10]; //分配一片存储空间给

原创 安装Spark Standalone模式/Hadoop yarn模式并运行Wordcount

先说一下我的环境：2个node，其中一个是master兼worker，另外一个是纯workermaster兼worker：sparkmaster  192.168.10.80纯worker：sparkworker1  192.168.10.81下载及安装从官网下载预编译好的spark 1.6http://spark.apache.org/downloads.ht