_PhotoAndCoding_-优快云博客

原创 Spark技术手册

一总览1.1 spark说明：官方原话：Lightning-fast cluster computing【快如闪电的批处理框架】快速、通用的大数据处理引擎。1.2 spark特点：1）提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销；2）提供了一套支持 DAG 图的分布式并行计算的编程框架,减少多次计算之间中间结果写到 Hdfs ...

2019-07-03 00:02:58 518

原创 Springbatch源数据建表语句及初始化

Spring batch的运行过程中会将任务状态记录到框架预设的表中，表名有：batch_job_executionbatch_job_execution_contextbatch_job_execution_paramsbatch_job_execution_seqbatch_job_instancebatch_job_seqbatch_step_executionbatch_...

2018-12-21 09:34:03 5327

原创阿里分布式数据库服务(DRDS)【学习笔记】

关系型数据库服务(Relational Database Service，简称RDS)：是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系，并提供专业的数据库备份、恢复及优化方案，使您能专注于应用开发和业务发展。

2017-01-19 15:10:12 15253

原创 Kafka本机搭建、常用命令、以及Rest模式||Kafka在zookeeper中的注册关系

Kafka简单教程

2017-01-18 10:52:27 6988 2

原创 git提交shell脚本格式转换的问题

写在前面git是一种分布式的代码版本管理工具，目前也是主流，广泛应用在大小公司、大小项目中。因为目前大多基于windows平台开发，这里Mac不说，没用过，编写的shell脚本在提交git时有个默认的转换：...

2019-09-02 12:11:48 2803

写在前面其实，也是最近才开始用VS code读代码的，发现确实牛B，开始是别人给配置上了映射，心里美滋滋，用着很舒心！可是8月19星期一，我开机 code 这个软件竟然没了，我就重装了呗，结果好嘛，最新的版本比服务器的版本高了0.0.1个版本，连不上了，我嘞个去啊，最开始我是不知道咋搞，问了一圈人，查了很多网站，都不是很靠谱，还是自己上手吧，搞了大半天，总结一下今天验证的两种方法：用sftp...

2019-08-19 22:51:14 944

原创 CMake基础-CMakeLists.txt编写指南

写在前面其实CMake在C++编译中是常用的编译工具，简单易上手，学习成不较低，最近我们也在开始用CMake编译，写一点最近项目中学习的一点体会和知识点，作以记录，网上单层级的CMake的例子挺多的，毕竟最终都是用一个CMakeLists.txt进行编译的，这个放在后面写，这个帖子主要写下多层级CMake的使用方法及目录关系：1 多层目录举例工程结构大致分为三层：从编译的易操作性来讲，编译...

2019-08-19 22:32:57 627

原创 NotePad++离线安装NppFTP插件

1. 先安装notepad++，此处不再赘述。2.从github下载FTP插件离线包：https://github.com/ashkulz/NppFTP/releases/tag/v0.27.4Tips:根据安装的NotePad++的版本选择64位还是 32位的，版本不匹配的话，插件加载不上3.解压安装包，如图所示：Tips：将NppFTP.dll放置NotePad++的插件路...

2019-07-11 10:02:09 592

原创 Signal信号值及对应含义

Tips：Linux下使用:【举例】man 7 signalman命令可查询signal的相关操作

2019-07-10 14:24:50 3171

原创删除git保存的用户名密码

运行一下命令缓存输入的用户名和密码：git config --global credential.helper wincred清除掉缓存在git中的用户名和密码git credential-manager uninstall

2019-05-14 17:34:51 731

原创排序算法

冒泡排序void bubbulingSort(int[] nums){ for(int i = 0; i &amp;amp;lt; nums.length; i++){ for(int j = i + 1; j &amp;amp;lt; nums.length; j++){ if(nums[i] &amp;amp;gt; nums[j]){ ...

2018-12-08 11:42:50 168 1

原创 Java泛型的一个简单应用

Java泛型的一个简单应用泛型的使用一直不太明确，今天写了个例子验证了下，先定义了三个类：Peple类：public class People<T> { String name; int age; List<T> feature; public String getName() { return name; }...

2018-12-07 12:54:07 587

翻译 Springbatch框架系列（1-1）Spring batch介绍

本博文主要从以下几个方面进行介绍：了解当下批处理框架介绍下spring batch的主要特点批处理高效的读写数据用Spring batch实现一个批处理任务Spring batch任务测试Springbatch之所以出现，是因为批处理应用对于写是一种挑战：使得数据的write操作更加容易实现，并且程序处理更加健壮、更加可靠。那么什么是批处理应用呢？批处理任务不在人工介入的情况下...

2018-12-06 09:41:54 648

原创 Springbatch框架系列介绍

Spring batch也是当下比较流行的批处理框架项目组最近在做后台业务重构，根据业务场景选型后，用spring下的springbatch作为批处理框架，进行对现有业务重构。 Spring batch是一个轻量级的、全面的批处理框架，旨在开发对企业系统日常运营至关重要的强大批处理应用程序。Spring Batch提供了可重复使用的功能，这些功能对于处理大量记录至关重要，包括记录/跟踪，事务管理...

2018-11-14 22:28:18 411

原创 Spark on Hive开发demo

public class SparkHiveTest { public static void main(String[] args) { String warehouseLocation = "hdfs://10.1X4.XX2.XX2:9001/home/spark/ive/warehouse/"; SparkSession spark = S...

2018-10-30 12:51:14 1110 1

转载 Hive的metastore及其配置管理

在学习Hive的配置管理参数时，曾将参数分为四类：Hive管理参数、Hive元存储（Metastore）管理参数、与Hadoop交互的管理参数、用于传递运行时信息的参数，当时并没有对Metastore参数进行深入的学习，现在就开始学习这部分的内容。Hive中表和分区的所有元数据都存储在Hive的元存储（Metastore）中。元数据使用JPOX（Java Persistent Objects）对...

2018-10-26 14:10:52 737

转载 F5负载均衡原理

2．负载平衡典型流程  通过VIP来截获合适的需要负载平衡的流量  服务器监控和健康检查,随时了解服务器群的可用性状态  负载均衡和应用交换功能,通过各种策略导向到合适的服务器 2．1 通过VIP来截获合适的需要负载平衡的流量在BIGIP上通过设置VIP来截获需要进行负载平衡的流量，这个VIP地址可以是一个独立的主机地址和端口的组合（例如：202.101.112....

2018-10-22 11:11:15 372

原创 docker学习入门小结

公司为了进一步业务的发展需要，组织了为期两天的docker容器化培训，也对该领域的大致概念、发展方向有了一定的了解。针对传统软件开发中存在的诸多问题，docker借助集装箱的成功经验应运而生，docker主要解决了软件生命周期中的快速发布问题，下面对docker的基本概念及部署做简要介绍，目前也在学习中，过程中若有什么问题，还请指出，随后深入学习。 docker的基本框架：docker...

2018-10-22 11:09:38 142

原创 Hadoop下的connect refused问题

Hadoop下的connect refused问题问题产生原因：假设hadoop正常运行中出现这个问题，那有可能在重启hadoop的过程中，hadoop集群出现了异常。解决方法：这个时候jps会发现，有得机器上的服务启动不全，正常情况下应该是下图中的服务：这是master节点的服务这两幅图是slaves节点的服务：查看日志：cat had...

2018-10-21 12:58:14 1454

转载 Git创建分支并提交代码

step1，在本地新建分支git branch newbranchstep2：把本地分支push到远程git push origin newbranchstep3：切换到该分支git checkout newbranchstep4：查看本地修改git statusstep5：添加本地修改git add .step6：commit修改git commit ...

2018-08-24 14:59:37 1237 1

转载 Mysql时间函数及格式处理

MySQL 获取当前日期及日期格式获取系统日期： NOW() 格式化日期： DATE_FORMAT(date, format) 注： date：时间字段 format：日期格式返回系统日期,输出 2009-12-25 14:38:59 select now(); 输出 09-12-25 select date_format(now(),’%y-%m-%d’); 根据forma...

2018-08-23 15:35:30 746

转载 Maven工程中的pom文件详解

<span style="padding:0px; margin:0px"><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach...

2018-07-26 09:17:44 504

原创 Spark项目开发--Spark sql读写Oracle、Mysql【DRDS】、Hbase数据库--Java实现

Spark sql读写Oracle数据库–Java实现作者也是初入Spark开发没多长时间，在写代码的过程中也是踩了不少坑，毕竟一提到Spark的项目大部分都是Scala实现的，虽说Scala跟Java相似度极高，但是在接口的使用上还是有较大差异的。下面讲一个使用Spark sql读写Oracle的例子使用Spark sql读取Oracle数据：项目地址：https:/...

2018-06-02 09:42:07 4310

原创 Spark项目开发及原理介绍

Spark项目开发入门之WordCounter环境介绍IDEA MAVEN工程Spark2.2.0local模式pom.xml文件配置&amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&amp;quot;?&amp;amp;gt;&amp;amp;lt;proj

2018-03-13 13:49:18 3771

原创 storm项目入门之wordCounter

storm项目入门之wordCounter最近在看storm，先调个小例子吧，后续学习笔记奉上：环境Intellij IDEAStorm1.1.1代码分四部分：pom文件、Spout，Bolt，Topology第一部分pom：pom.xml<?xml version="1.0" encoding="UTF-8"?><projec...

2018-02-28 22:07:14 299

转载 Tuxedo中间件常用命令

官方地址：https://www.oracle.com/cn/index.html*tmboot 启动服务：参数说明： -l lmid 启动逻辑服务器名为lmcd服务器上的所有进程 -g grpname 启动GROUP名为grpname的所有进程 -i srvid 启动SRVID为srvid中的服务进程 -s aout 启动名aout的服务进程 - o sequence 启动S

2017-10-20 10:52:18 2682

原创单核CPU正弦曲线

编程与CPU

2017-08-22 22:20:29 379

原创工作一年之后，那些。。。

最近女博士学瑜伽走火入魔，练了一身本领，动不动就对我吆五喝六的，算了，今天我推吧！虽然最近都睡得挺早、起得挺晚。今天的主题就是标题写的啦，一块聊聊工作以后，那些开心不开心的事，还有那些必须要做的事。一首好听的歌，给大家解解压。 https://y.qq.com/n/yqq/song/8620822_num.html?ADTAG=h5_playsong&no_r

2017-08-03 08:33:11 395

原创 C++编译报错: undefined reference to clock_gettime

在编译C++代码时有时候会出现报错 undefined reference to `clock_gettime'

2017-07-19 13:07:44 1906

原创白话kafka（二）

前几天在白话kafka（一）中简单介绍了下kafka的大致构成，对几个关键词进行了解释说明，当然在阐述的过程中也存在很多的漏洞，还请大家多多包涵！最近公司在搞封闭，一直没继续写，刚好新的专题，需要搭建一套kafka集群，下面结合搭建过程，说说kafka搭建中可能遇到的一些问题。环境：虚拟机三台安装包：zookeeper，kafka，jdk（1.7及以上）这里先搭建一个zookeepe

2017-07-11 14:02:11 766

原创白话kafka（一）

kafka是流文件处理平台中可以说是成功的，毕竟现在涉及的领域之大已经不得不让我们多少了解一点。kafka也算是我工作以来接触最多的一项技术了，截止目前也就刚能达到勉强能用的程度。kafka官方给出的定义是：kafka是一个分布式的流处理平台。有高吞吐、高容错、支持发布-订阅的特点。 kafka是个分布式的系统，所以这就决定了这个系统是强依赖zookeeper的，需要一个第三方的管理员来调用kaf

2017-06-09 17:31:15 2593

原创 librdkafka在Linux下的安装测试

librdkafka在Linux下的安装测试

2017-04-06 15:44:49 1930

原创 Jsoncpp在linux中的安装、编译及其简单应用

1. 准备工作Jsoncpp下载：https://sourceforge.net/projects/jsoncpp/ Scons下载：https://sourceforge.net/projects/scons/ Linux：本文以红帽为例2. Jsoncpp介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于

2017-03-14 13:51:41 544

原创微服务

前段时间做了一个有关微服务的单子，也就大致的学习了一下，不过目前也还不够深入，只是大致知道微服务是在怎么运作。记得看过一个帖子就是说，目前microservice够火，只要跟这个关键词扯点关系就人满为患，不管是培训还是亚马逊的书价，一起看看微服务到底是个什么鬼？微服务引用块内容微服务正在博客、社交媒体讨论组和会议演讲中获得越来越多的关注，在Gartner的2014 Hype Cycle上它的

2017-01-16 14:18:45 389

原创 docke入门

2016-11-30 13:25:17 2715

原创 linux设置环境变量

cd ~ls -alvi .bash_profileexport mypara="*********"source .bash_profile

2016-11-04 09:55:51 298

转载 notepad++快捷键

F11 全屏模式F12 便签模式Ctrl+L 刪除当前行Ctrl+Q 行注释Ctrl+Shift+Q 块注释Ctrl+W 关闭当前文件Ctrl+Enter 单词提示自动完成Ctrl+Alt+F 折叠当前代码层次Ctrl+Alt+Shift+F 反折叠。。。Ctrl-H 打开Find / Replace 对话框Ctrl-

2016-11-03 09:08:24 354

原创 c++语法之冒号（：），双冒号（：：）

CredSedSms::CredSedSms():m_indbCount(0), m_channelCount(0)CredSedSms为声明的一个类双冒号为域操作符：表示声明一个成员函数单冒号后面：为该函数中变量的初始化列表。

2016-10-28 18:31:57 2876

原创 kafka本机搭建、测试及常用命令

折腾了好几天终于实现了kafka本机的搭建，现将一些要点及常用命令贴出来供大家参考：1.下载kafka安装包2.复制到指定文件夹、解压3.下面就是简单的测试了，我用的是0.8版本，基本不用配置什么，解压完就能使用。（1）打开zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties（2）打开ka

2016-10-27 19:58:09 834

转载 linux中的动态、静态库

一、什么是库本质上来说库是一种可执行代码的二进制形式，可以被操作系统载入内存执行。由于windows和linux的本质不同，因此二者库的二进制是不兼容的。Linux操作系统支持的函数库分为静态库和动态库，动态库又称共享库。Linux系统有几个重要的目录存放相应的函数库，如/lib /usr/lib。二、静态函数库、动态函数库

2016-10-19 15:08:35 264

Go语言编程

2017-02-07

kafka安装包

2016-10-28

Thinking+in+C+++简体中文第二版

In the first edition of Thinking in C++, Bruce Eckel synthesized years of C++ teaching and programming experience into a beautifully structured course in making the most of the language. It became an instant classic, winning the 1995 Software Development Jolt Cola Award for best book of the year. Now, Eckel has thoroughly rewritten Thinking in C++ to reflect the final ANSI/ISO C++ standard. Every page has been revisited and rethought, with many new examples and exercises -- all designed to help you understand C++ "down to the bare metal," so you can solve virtually any problem. Eckel starts with a detailed look at objects, showing how C++ programs can be constructed from off-the-shelf object libraries. This edition includes a new, chapter-length overview of the C features that are used in C++ -- plus a new CD-ROM containing an outstanding C seminar that covers all the foundations developers need before they can truly take advantage of C++. Eckel then walks through initialization and cleanup; function overloading and default arguments; constants; inline functions; name control; references and the copy constructor; operator overloading; and more. There are chapters on dynamic object creation; inheritance and composition; polymorphism and virtual functions, and templates. (Bonus coverage of string, templates, and the Standard Template Library, can be found at Eckel's web site.) Every chapter contains many modular, to-the-point examples, plus exercises based on Eckel's extensive experience teaching C++ seminars. Put simply, Eckel has made an outstanding book on C++ even better.　

2016-08-18

TA关注的人

Go语言编程

kafka安装包

Thinking+in+C+++简体中文第二版

kafka向zookeeper注册问题

weblogic启动问题||||||

Java web开发问题||||找不到模板语言环境zh_cn

Oracle 如何限制表的生失效时间

C++小白||请大神指导。。。。。。。。。。

UltraEdit中的FTP模块乱码求指导！