<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[machen990519的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/machen990519</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; machen990519]]></copyright><item><title><![CDATA[springboot2 中MultipartFile类型（单文件和多文件） + 普通参数类型  实现上传功能]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/111166052</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/111166052</guid><author>machen990519</author><pubDate>Mon, 14 Dec 2020 13:56:39 +0800</pubDate><description><![CDATA[。。。。直接上代码得了。。没啥好说的。。。


    //上传 --暂时放在测试服务器  关于描述和类型参数暂时不知道如何使用
    @RequestMapping(value="/upload",method = RequestMethod.POST)
    public Result upload(@RequestPart(value = "filecontent") MultipartFile multipartFile,
                         @RequestPar]]></description><category></category></item><item><title><![CDATA[Flink + kafka +( join) oracle +redis 【从部署到代码实例，kafka权限认证，flink on yarn】]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/107387633</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/107387633</guid><author>machen990519</author><pubDate>Mon, 27 Jul 2020 17:36:56 +0800</pubDate><description><![CDATA[1.起初准备：

一、hdfs redis yarn kafka zookeeper 等等 基础部署系统（百度很多，不讲解）

二、flink 安装（on yarn）


]]></description><category></category></item><item><title><![CDATA[Python3.6  Anocanda  windowns  安装 cv2  也就是 opencv_python 的 各种坑]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/103052148</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/103052148</guid><author>machen990519</author><pubDate>Wed, 13 Nov 2019 17:03:14 +0800</pubDate><description><![CDATA[1. 网上查的一些 坑爹 方案：

【1】conda install -c conda-forge/label/cf201901 opencv  

    更新一半 就停了 简直就是 KENG DIE

【2】 pip install opencv 或者是 pip3 install opencv

    简直就是胡扯 linux 中也许能性，wind...]]></description><category></category></item><item><title><![CDATA[spark  读取 Oracle 以及 kafka 数据 ( GeoPoint  坐标数据类型 )  做Join  并插入ES   【原创】]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/102938726</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/102938726</guid><author>machen990519</author><pubDate>Wed, 06 Nov 2019 19:53:45 +0800</pubDate><description><![CDATA[一、kafka 模拟数据：

【1】模拟数据实体类：


public class CarDataTest {
    private String lat;
    private String lon;
    private String location;
    private String status;
    private String terminaltype;

    --...]]></description><category></category></item><item><title><![CDATA[IDEA   windows10  远程调试 pyspark （windows  IDEA 无法配置 Anaconda的环境变量）]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/80771246</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/80771246</guid><author>machen990519</author><pubDate>Fri, 22 Jun 2018 12:18:12 +0800</pubDate><description><![CDATA[【1】 windows  10  版本的 Anaconda3  安装 后 目录下是没有bin 目录的，（虽然网上很多帖子写到了要把 anaconda 下的 3个目录加入环境变量，如下图，但是 对于IDEA来说 ，没有一个管用！ 也就是说是只能用 Anaconda 的自带编辑器去写东西）《也许是技术不够，不会配置的原因，实在感觉windows  不如  mac 来的方便》【2】在linux  安装A...]]></description><category></category></item><item><title><![CDATA[spring  2.0   多数据源配置(亲测 代码附上)]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/80657170</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/80657170</guid><author>machen990519</author><pubDate>Mon, 11 Jun 2018 20:08:55 +0800</pubDate><description><![CDATA[maven 文件：&amp;lt;dependencies&amp;gt;

    &amp;lt;dependency&amp;gt;
        &amp;lt;groupId&amp;gt;com.alibaba&amp;lt;/groupId&amp;gt;
        &amp;lt;artifactId&amp;gt;druid&amp;lt;/artifactId&amp;gt;
        &amp;lt;version&amp;gt;1.1.6&amp;lt;/version]]></description><category></category></item><item><title><![CDATA[hive （2.01）读取 json  格式  的处理方式  2018-4-24]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/80060124</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/80060124</guid><author>machen990519</author><pubDate>Tue, 24 Apr 2018 10:13:13 +0800</pubDate><description><![CDATA[测试json  数据 格式 样例：


{"data":{"dt":"2018-12-13","hu":"17:17:17"},"web":{"web":"maitianzaixian.com.cn","whichfor":"computer"},"house":{"home":"yuanyangguoji","areo":400,"price":3400,"num":"10#102"}}]]></description><category></category></item><item><title><![CDATA[《转载，亲测通过》hbase  hive 数据表映射关联]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/79897059</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/79897059</guid><author>machen990519</author><pubDate>Wed, 11 Apr 2018 15:12:17 +0800</pubDate><description><![CDATA[Hive整合HBase的环境配置以及测试

1，环境配置

因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。所以只需要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就可以了。
切换到hive/lib目录下
输入:]]></description><category></category></item><item><title><![CDATA[IDEA   打包  spark 程序  并在远程 hadoop HA  上运行测试]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/79866128</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/79866128</guid><author>machen990519</author><pubDate>Mon, 09 Apr 2018 14:54:32 +0800</pubDate><description><![CDATA[1. idea   安装创建 （略）2。创建 scala 的 Maven  项目  （略）3。导入maven 依赖  （重要）&amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; xsi:schemaLocation=&quot;http://ma...]]></description><category></category></item><item><title><![CDATA[win10   IDEA   链接远程hadoop 2.6 集群]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/79714787</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/79714787</guid><author>machen990519</author><pubDate>Tue, 27 Mar 2018 16:31:44 +0800</pubDate><description><![CDATA[win10  准备:1。下载 hadoop2.6-CDH5.7.5 解压         //重要说明：CDH 和  普通版本不一样2。下载 winutils .exe ( hadoop2.6-CDH5.7.5版本 )3    .将winutils.exe 放入  hadoop2.6/bin 中 ，同时添加环境变量，4    将登陆用户设置成英文名字，进入计算机管理界面，本地用户，用户，改成英文的...]]></description><category></category></item><item><title><![CDATA[Hbase1.25  Bulkload  代码实测版（详细图文）]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/79702048</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/79702048</guid><author>machen990519</author><pubDate>Mon, 26 Mar 2018 19:00:09 +0800</pubDate><description><![CDATA[描述 不说  百度！代码：package HbaseBulkLoadTest;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbas...]]></description><category></category></item><item><title><![CDATA[Hadoop 海量小文件处理  InputFormat   RecoreReader]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/79530518</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/79530518</guid><author>machen990519</author><pubDate>Mon, 12 Mar 2018 17:52:11 +0800</pubDate><description><![CDATA[TextInputFormat提供了对文本文件的处理方式，通过InputSplit进行分片（FileSplit），每一个分片分别new一个LineRecordReader进行读取解析，解析得到的每一行以&amp;lt;key, value&amp;gt;的形式传给Mapper的map()函数。应用示例：随机生成100个小数并求最大值。MapReduce自带的输入类型都是基于HDFS的，本示例不从HDFS读取数据，...]]></description><category></category></item><item><title><![CDATA[WIN 10 java 安装 （错误异常处理）]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/78332315</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/78332315</guid><author>machen990519</author><pubDate>Tue, 24 Oct 2017 17:43:50 +0800</pubDate><description><![CDATA[JDK的安装




1.配置信息：



①JAVA_HOME指明JDK安装路径，安装时所选择的路径C:\Program Files\Java\jdk1.7.0_80，此路径下包括lib，bin，jre等文件夹（此变量最好设置，因为以后运行tomcat，eclipse等都需要依*此变量）； 


②Path使得系统可以在任何路径下识别java命令，设为：

%JAVA]]></description><category></category></item><item><title><![CDATA[Phoenix  使用脚本方式导入   hbase]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/77292013</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/77292013</guid><author>machen990519</author><pubDate>Thu, 17 Aug 2017 09:45:22 +0800</pubDate><description><![CDATA[1. 说明


phoenix自带了执行sql脚本的功能，这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase（也可以直接使用sqoop进行导入）。




2. 创建脚本


在【PHOENIX_HOME】目录下创建user.sql，内容如下：
-- create table user
create table if not exists user (id ]]></description><category></category></item><item><title><![CDATA[Phoenix  采用bulkload 导入 hbase  （2017-8-16）]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/77261757</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/77261757</guid><author>machen990519</author><pubDate>Wed, 16 Aug 2017 18:07:37 +0800</pubDate><description><![CDATA[本地CSV文件测试：
2. 创建表

在phoenix的CLI界面创建user表。
> create table CSV_BULK_LOAD (id varchar primary key,account varchar ,passwd varchar);


3. 添加测试数据

在【PHOENIX_HOME】目录下创建data.csv，内容如下：
001,google,AM]]></description><category></category></item><item><title><![CDATA[squirrel   hbase    Phonenix  三者集成]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/77092999</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/77092999</guid><author>machen990519</author><pubDate>Fri, 11 Aug 2017 10:56:29 +0800</pubDate><description><![CDATA[②



需要点击“Drivers”，将phoenix的驱动添加进去。

③点击左上角 蓝色的 “ + ” 加号，添加



按上面的顺序，依次填写。
第一步，Name：随便写个名字，标记连接；
第二步，Example URL：相当于mysql的jdbc连接串，这里的alias写zookeeper的主机名称，端口号，可以写，可以不写，我一般不写；
第三步，选择Phoeni]]></description><category></category></item><item><title><![CDATA[Phonenix4.9 （添加二级索引，新版本本地索引表变更）     hbase1.25的集成测试]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/77083099</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/77083099</guid><author>machen990519</author><pubDate>Fri, 11 Aug 2017 09:27:29 +0800</pubDate><description><![CDATA[1.安装habse 1.25    
2.下载并且解压  Phonenix 4.9  （所有节点）  
 我用的是：apache-phoenix-4.9.0-HBase-1.2-bin.tar.gz 


3. 将Phonenix   的    lib     中的所有jar包   拷贝到hbase的里面   （所有节点）


4.把hbase  中  conf    里面的]]></description><category></category></item><item><title><![CDATA[spark  HA 模式搭建《加入hbase依赖》 （2018【改进红色字体】详细配置）《转载》]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/76131314</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/76131314</guid><author>machen990519</author><pubDate>Wed, 26 Jul 2017 11:10:35 +0800</pubDate><description><![CDATA[一、准备服务器环境1.1、服务器规划ZooKeeper ClusterHostIPzookeeper1192.168.50.228zookeeper2192.168.50.229zookeeper3192.168.50.230Spark HA ClusterHOSTIPMasterWorkernn1192.168.50.221YNnn2192.168.50.222YNdn1192.168.50.2...]]></description><category></category></item><item><title><![CDATA[sequenceFile  转换，并导入至hbase中  (图文解说 2017-7-23)]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/76082908</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/76082908</guid><author>machen990519</author><pubDate>Tue, 25 Jul 2017 16:27:40 +0800</pubDate><description><![CDATA[我找了几个图片作为数据：


  
   总共有5张（粉色的）
先上传至hdfs   
hdfs://172.16.11.222:9000/JpgSequence

想要生成的sequencefile 的位置：

"hdfs://172.16.11.222:9000/Sequence/bb.txt";


具体步骤和解释全在代码里面标注《看完请评价》：


直接上代]]></description><category></category></item><item><title><![CDATA[hadoop2 （2017-7-21修改）对SequeneceFile  的（读写）操作]]></title><link>https://blog.youkuaiyun.com/machen990519/article/details/75669756</link><guid>https://blog.youkuaiyun.com/machen990519/article/details/75669756</guid><author>machen990519</author><pubDate>Fri, 21 Jul 2017 17:51:43 +0800</pubDate><description><![CDATA[写操作




根据上一篇的介绍，在hadoop2.x之后，Hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter()方法，除了配置参数外，其他的参数统统使用SequenceFile.Writer.Option来替代，具体有：



新的API里提供的option参数：]]></description><category></category></item></channel></rss>