Harry Wong的博客

基于Fabric+IPFS大规模数据上链方案第一章 系统综述  加粗样式区块链是创造信任的机器，但是数据存储与读取的效率十分低下，两者不可兼得的情况下，一种新的方式，既弥补区块链的效率，又能利用其“信任”与“不可篡改”特性。该方案使用区块链+分布式存储。  Fabric简介、适用场景：Hyperledger Fabric的出现是对传统区块链模型的一种革新，在某种程度上允许创建授权和非授权的区...

摘要sparkstreaming+kafka实时计算，将计算结果写回redis。 sparkstreaming+kafka实时计算案例，此处不是将结果写回kafka，而写到redis数据库中，完整代码如下，可验证测试(需要再写一个数据生产者，来不断产生数据)。 import java.util.Propertiesimp...

摘要top内存中buff/cache过大，或者nohup日志文件过大的解决方法。 内存buff/cache过大清理方法top查看内存，若buff/cache过大，使用以下方法清理： sudo sh -c "echo 1 > /proc/sys/vm/drop_caches"sudo sh -c "echo 2 &g...

摘要CDH6无残留彻底删除，删除所有相关目录。 停止cloudera的node sudo systemctl status cloudera-scm-agent.servicesudo systemctl status cloudera-scm-server.service sudo systemctl stop c...

摘要CDH6大数据集群部署详细过程记录。 CDH集群安装版本信息cm-6.3cdh-6.3mysql-5.7CM下载https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/下载allkeys.aschttps://archive.cloudera.com/cm6/6.3...

摘要CDH(Cloudera Distribution Hadoop)完全详细版安装,禁用SELINUX,http方式配置yum源,NTP时钟同步,配置数据库,安装CM,web界面操作,节点规划，参数配置，HDFS验证，Hive验证。HDFS不良：副本不足的块；Hive组件出现不良；无法接受Agent发出的检测该角色的进程启动失败；HDFS权限问题；spark-shell环境出错...

摘要CDH(Cloudera Distribution Hadoop)完全卸载删除。 CDH集群卸载过程1.成功停止集群2.解除并移出parcels(先删除parcels包，再删cluster集群)(1)成功停止集群后，点击图标(2)点击停用(3)停用集群上CDH(4)移出CDH此步骤删除节点上 /opt/cloudera/par...

摘要sparkstreaming+kafka的Demo,实时计算并将结果写回kafka。 使用sparkstreaming与kafka进行实时计算的例子，对obd数据进行实时统计计算，并将计算结果写回kafka。 import java.util.Propertiesimport org.apache.log4j.Log...

摘要kafka基本使用及操作命令 假设zookeeper server及kafka broker的IP都为172.18.245.104，下面是简单使用kafka的过程。创建topics kafka-topics --create --zookeeper 172.18.245.104:2181 --topic test --...