<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[fengfengchen95的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/fengfengchen95</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; fengfengchen95]]></copyright><item><title><![CDATA[Sparkstreaming-windows测试过程异常问题记录]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/105229830</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/105229830</guid><author>fengfengchen95</author><pubDate>Tue, 31 Mar 2020 19:25:42 +0800</pubDate><description><![CDATA[1、异常问题记录：



解决办法：去http://search.maven.org上下载对应的.jar,如下载：spark-streaming-kafka-0-8-assembly_2.11-2.4.5.jar

放在site-page的目录下，我这边的路径为：/usr/lib/python2.7/site-packages/pyspark/jars，而我python安装路径：/usr/bin/...]]></description><category></category></item><item><title><![CDATA[SN.xml解析异常问题记录]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103955077</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103955077</guid><author>fengfengchen95</author><pubDate>Mon, 13 Jan 2020 11:26:54 +0800</pubDate><description><![CDATA[1.parseBulkZipsWrapper.py 中解析zip文档报错，“file is not zip"

原因分析：在读zip文件时需要采用二进制的方式进行读取，所以讲


open(zipFile, 'r') 改成open(zipFile, 'rb')。
...]]></description><category></category></item><item><title><![CDATA[Pycharm快捷键使用]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103868713</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103868713</guid><author>fengfengchen95</author><pubDate>Tue, 07 Jan 2020 10:11:14 +0800</pubDate><description><![CDATA[1.Ctrl+B查看库的源码

安装第三方库



5.快速注释&amp;取消注释

ctrl+/快捷键进行注释
再次快捷键，取消注释

7.快速换行

快捷键shift+enter可以快速换行，与换行位置代码缩进保持一致
...]]></description><category></category></item><item><title><![CDATA[shell中输入输出重定向，＞、＞＞、＜、＜＜、＞/dev/null、2＞&1、＜＜end、＜＜EOF等]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103680823</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103680823</guid><author>fengfengchen95</author><pubDate>Tue, 24 Dec 2019 11:52:59 +0800</pubDate><description><![CDATA[转载自：https://blog.youkuaiyun.com/qq_31073871/article/details/80810306
其他参考：www.runoob.com/linux/linux-shell-io-redirections.html
实际上，输入输出重定向中的3个标准文件描述符，输入0、正常输出1、错误输出2，这三个值经常被省略。
举例：
ls &gt; shell_out 等价于:
...]]></description><category></category></item><item><title><![CDATA[hive函数大全]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103665165</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103665165</guid><author>fengfengchen95</author><pubDate>Mon, 23 Dec 2019 14:41:46 +0800</pubDate><description><![CDATA[Hive常用函数大全一览

Hive常用函数大全一览
1 关系运算
1.1 1、等值比较: =
1.2 2、不等值比较:
1.3 3、小于比较: &lt;
1.4 4、小于等于比较: &lt;=
1.5 5、大于比较: &gt;
1.6 6、大于等于比较: &gt;=
1.7 7、空值判断: IS NULL
1.8 8、非空判断: IS NOT NULL
1.9 9、LIKE比较: LIKE
...]]></description><category></category></item><item><title><![CDATA[hive 常用函数]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103661376</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103661376</guid><author>fengfengchen95</author><pubDate>Mon, 23 Dec 2019 10:38:12 +0800</pubDate><description><![CDATA[1.日期比较函数: datediff语法: datediff(string enddate,string startdate)

返回值: int 说明: 返回结束日期减去开始日期的天数。

举例：hive&gt; select datediff('2016-12-30','2016-12-29');  返回1



2.日期增加函数: date_add语法: date_add(string...]]></description><category></category></item><item><title><![CDATA[Java重要的20种常用类库和API]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103633926</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103633926</guid><author>fengfengchen95</author><pubDate>Fri, 20 Dec 2019 15:58:29 +0800</pubDate><description><![CDATA[一个有经验的Java开发人员特征之一就是善于使用已有的轮子来造车。《Effective Java》的作者Joshua Bloch曾经说过：“建议使用现有的API来开发，而不是重复造轮子”。在本文中,我将分享一些Java开发人员应该熟悉的最有用的和必要的库和API。顺便说一句，这里不包括框架，如Spring和Hibernate因为他们非常有名,都有特定的功能。
本文总结了日志、JSON解析、单测、X...]]></description><category></category></item><item><title><![CDATA[Python常用的标准库以及第三方库]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103618932</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103618932</guid><author>fengfengchen95</author><pubDate>Thu, 19 Dec 2019 17:58:12 +0800</pubDate><description><![CDATA[参考：https://www.cnblogs.com/jiangchunsheng/p/9275881.html

20个必不可少的Python库也是基本的第三方库
读者您好。今天我将介绍20个属于我常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是：
Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。
Scrapy.如果你从...]]></description><category></category></item><item><title><![CDATA[Python异常问题记录]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103601656</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103601656</guid><author>fengfengchen95</author><pubDate>Wed, 18 Dec 2019 17:33:57 +0800</pubDate><description><![CDATA[1。pip 工具下载其它地址

（1）https://pypi.tuna.tsinghua.edu.cn/simple/

（2）http://pypi.mirrors.ustc.edu.cn/simple/

 （3）自带路径https://pypi.python.org/simple

2.异常问题：

C:\Users\TEST-1&gt;pip install mysql-connec...]]></description><category></category></item><item><title><![CDATA[DRUID连接池]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/103453884</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/103453884</guid><author>fengfengchen95</author><pubDate>Mon, 09 Dec 2019 10:38:25 +0800</pubDate><description><![CDATA[DRUID连接池
Druid是阿里巴巴开发的号称为监控而生的数据库连接池，Druid是目前最好的数据库连接池。
在功能、性能、扩展性方面，都超过其他数据库连接池，同时加入了日志监控，
可以很好的监控DB池连接和SQL的执行情况。

DRUID连接池使用的jar包： druid-1.0.9.jar

DRUID常用的配置参数
jdbcUrl 连接数据库的url：mysql : jdbc:mysql:...]]></description><category></category></item><item><title><![CDATA[(转）List的Stream流操作]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/102621844</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/102621844</guid><author>fengfengchen95</author><pubDate>Fri, 18 Oct 2019 11:10:43 +0800</pubDate><description><![CDATA[Stream流

Stream 中文称为 “流”，通过将集合转换为这么一种叫做 “流” 的元素序列，通过声明性方式，能够对集合中的每个元素进行一系列并行或串行的流水线操作。

函数式编程带来的好处尤为明显。这种代码更多地表达了业务逻辑的意图，而不是它的实现机制。易读的代码也易于维护、更可靠、更不容易出错。

面对一对多结构，查询主实体时需要附带主实体的子实体列表怎么写？查出主列表，循环差子列表

...]]></description><category></category></item><item><title><![CDATA[JVM各区域的作用]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/102487045</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/102487045</guid><author>fengfengchen95</author><pubDate>Fri, 11 Oct 2019 16:09:57 +0800</pubDate><description><![CDATA[首先关于JVM运行时我们常遇到的异常，1.OutOfMemoryError 2.stackOverflower

JAVA堆

java heap(堆）是java虚拟机中管理最大的一块内存。heap中存的是程序在运行过程中创建的各种对象以及数组数据（因为需要连续的内存并且空间占用也比较大），如果堆没有内存完成实例分配，而且堆也无法在扩展时，就会报OutOfMemoryError

GC: garb...]]></description><category></category></item><item><title><![CDATA[JVM 概述及重点了解]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/102459636</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/102459636</guid><author>fengfengchen95</author><pubDate>Thu, 10 Oct 2019 17:21:14 +0800</pubDate><description><![CDATA[首先我们需要了解几个重要概念

JAVA:一种编程语言，提供简单的API

JDK:提供编程开发工具包，编程语言规范，编译器，解释器等。

JRE:java语言别写出来的代码运行的环境。

JVM:JRE中的核心就是JVM （java虚拟机）,JAVA程序运行中JVM中。JVM运行在操作系统的上面，操作系统为JVM提供cpu,内存，网络带宽等。

JMM: JAVA MEMORY MODE 内存模...]]></description><category></category></item><item><title><![CDATA[Spark Streaming 机制]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/100099069</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/100099069</guid><author>fengfengchen95</author><pubDate>Tue, 27 Aug 2019 14:39:42 +0800</pubDate><description><![CDATA[本篇文章主要从二个方面展开：

一、Exactly Once

二、输出不重复

事务：

银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。

从事务视角解密SparkStreaming架构：

SparkStreaming应用程序启动，会分配资源，除非整个集群硬件资源奔溃，一般情况下都不会有问题。S...]]></description><category></category></item><item><title><![CDATA[centos 7 查看磁盘io ，找出占用io读写很高的进程]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/100074374</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/100074374</guid><author>fengfengchen95</author><pubDate>Mon, 26 Aug 2019 11:39:41 +0800</pubDate><description><![CDATA[1，先用iostat查看磁盘io 是否读写负载很高

用iostat -x 1 10

如果 iostat 没有，要 yum install sysstat安装这个包，第一眼看下图红色圈圈的那个如果%util接近100%,表明I/O请求太多,I/O系统已经满负荷，磁盘可能存在瓶颈,一般%util大于70%,I/O压力就比较大，读取速度有较多的wait，然后再看其他的参数，



rrq...]]></description><category></category></item><item><title><![CDATA[sqoop 分隔符与字段内容冲突解决方案]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/99548638</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/99548638</guid><author>fengfengchen95</author><pubDate>Wed, 14 Aug 2019 11:29:01 +0800</pubDate><description><![CDATA[一. 解决方案

1.首先查看source表的表结构及数据，可大概判断出哪些字段的值中可能包含分隔符。使用 字段名 like '%分割符%’，能准确判断出此字段是否包含分隔符，如果包含可选择其它分隔符试试，如果能挑选和数据不冲突的分隔符，那么sqoop就可以选定此分隔符。

2.这次遇到的表，什么分隔符以及转义字符（\b,\r,\n,\t,\r)都包含，所以采用替换字段中的分隔符的方式进行处理，...]]></description><category></category></item><item><title><![CDATA[Azkaban3.70安装过程记录]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/95515728</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/95515728</guid><author>fengfengchen95</author><pubDate>Thu, 11 Jul 2019 23:06:05 +0800</pubDate><description><![CDATA[1.安装前的环境：

centos7,JDK1.8

2.配置Azkaban前需要先安装如下工具：git ,gcc,g++

(1) git 安装

参考：https://www.cnblogs.com/shaosks/p/9257563.html

（2）gcc,g++安装

 yum install gcc gcc-c++

3.下载Azkaban：https://github.com/az...]]></description><category></category></item><item><title><![CDATA[Ambari各版本兼容的组件查看路径]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/93326440</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/93326440</guid><author>fengfengchen95</author><pubDate>Sat, 22 Jun 2019 15:04:01 +0800</pubDate><description><![CDATA[Ambari各版本兼容的组件查看路径

1.Hortonworks首页地址：https://hortonworks.com/

2. productes--ducomments



3.选择Ambari



3.选择好对于的Ambari版本后，点击Apache Ambari Installation 然后进入：...]]></description><category></category></item><item><title><![CDATA[Ambari安装过程中异常问题记录]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/93196266</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/93196266</guid><author>fengfengchen95</author><pubDate>Fri, 21 Jun 2019 15:19:51 +0800</pubDate><description><![CDATA[一.虚拟机克隆出现ip地址异常问题：





解决办法：

1. vi /etc/sysconfig/network-scripts/ifcfg-eth0

将UUID和HWADDR的配置注释掉，保存。

2.rm -rf /etc/udev/rules.d/70-persistent-net.rules

3.重启服务器：reboot

4.使用ifconfig查看，ip地址配置正常。

...]]></description><category></category></item><item><title><![CDATA[Yarn资源队列配置和使用]]></title><link>https://blog.youkuaiyun.com/fengfengchen95/article/details/91987761</link><guid>https://blog.youkuaiyun.com/fengfengchen95/article/details/91987761</guid><author>fengfengchen95</author><pubDate>Fri, 14 Jun 2019 17:08:37 +0800</pubDate><description><![CDATA[Yarn资源队列配置和使用



前言

试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？

如果你存在上述的困惑，可以多了解一些yarn的资源调度器。

在Yarn框架中，调度器是一...]]></description><category></category></item></channel></rss>