<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[炼剑]]></title><description><![CDATA[小白的IT学习]]></description><link>https://blog.youkuaiyun.com/agent_x</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; agent_x]]></copyright><item><title><![CDATA[leetcode 341.Flatten Nested List Iterator]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/84196900</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/84196900</guid><author>agent_x</author><pubDate>Sun, 18 Nov 2018 11:26:59 +0800</pubDate><description><![CDATA[Given a nested list of integers, implement an iterator to flatten it.
Each element is either an integer, or a list – whose elements may also be integers or other lists.
Example 1:
Input: [[1,1],2,[1,1...]]></description><category></category></item><item><title><![CDATA[关于日志那些事]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/84196862</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/84196862</guid><author>agent_x</author><pubDate>Sun, 18 Nov 2018 11:22:08 +0800</pubDate><description><![CDATA[关于日志那些事
对于现在的应用程序来说，日志的重要性是不言而喻的。很难想象没有任何日志记录功能的应用程序运行在生产环境中。日志所能提供的功能是多种多样的，包括记录程序运行时产生的错误信息、状态信息、调试信息和执行时间信息等。在生产环境中，日志是查找问题来源的重要依据。本文从日志的定义、作用、分类、级别等角度介绍日志。
什么是日志

日志是用来保存系统发生的事件信息和各种对象执行的操作信息的管理对象...]]></description><category></category></item><item><title><![CDATA[IDEA中使用Spark SQL 连接Hive]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/79952229</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/79952229</guid><author>agent_x</author><pubDate>Sun, 15 Apr 2018 19:39:38 +0800</pubDate><description><![CDATA[IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的，Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序，在IDEA中连接Hive有些需要注意的地方，这里记录一下，折腾了一下午。1. 复制hive-site.xml将Spar]]></description><category></category></item><item><title><![CDATA[Spark On YARN内存和CPU分配]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78668762</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78668762</guid><author>agent_x</author><pubDate>Wed, 29 Nov 2017 19:00:49 +0800</pubDate><description><![CDATA[转自：http://blog.youkuaiyun.com/fansy1990软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用Spark On YARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：[plain] view plain copy print?–executor-memory 8G –executor-cores 5 –num-e]]></description><category></category></item><item><title><![CDATA[windows Hadoop开发环境搭建及远程提交]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78664205</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78664205</guid><author>agent_x</author><pubDate>Wed, 29 Nov 2017 13:35:23 +0800</pubDate><description><![CDATA[这篇文章将介绍如何搭建hadoop的开发环境，并且详细描述如何通过intellij idea开发hadoop的map-reduce程序以及远程提交。 
前提：安装hadoop,下载winutils,并解压放在$Hadoop_HOME/bin目录下方法一：maven项目1、intellij idea创建maven项目这里就不多说了，先创建一个maven项目。 
2、配置pom.xml文件，补全pom.]]></description><category></category></item><item><title><![CDATA[Spark SQL读取hive数据时报找不到mysql驱动]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78663360</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78663360</guid><author>agent_x</author><pubDate>Wed, 29 Nov 2017 11:25:35 +0800</pubDate><description><![CDATA[Exception：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver]]></description><category></category></item><item><title><![CDATA[Hadoop核心之HDFS 架构设计]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78663198</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78663198</guid><author>agent_x</author><pubDate>Wed, 29 Nov 2017 11:15:29 +0800</pubDate><description><![CDATA[来自：http://blog.youkuaiyun.com/suifeng3051/article/details/48548341 
概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容]]></description><category></category></item><item><title><![CDATA[Selenium之Web页面滚动条滚操作]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78662860</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78662860</guid><author>agent_x</author><pubDate>Wed, 29 Nov 2017 10:55:51 +0800</pubDate><description><![CDATA[//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐  
((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element);  
 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(t]]></description><category></category></item><item><title><![CDATA[hive安装及mysql配置]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78660341</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78660341</guid><author>agent_x</author><pubDate>Tue, 28 Nov 2017 23:06:08 +0800</pubDate><description><![CDATA[centOS7 hive安装以及配置MySQL 为hive metastore]]></description><category></category></item><item><title><![CDATA[Ganglia在CentOS7_x86_64上的yum安装与配置]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78660128</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78660128</guid><author>agent_x</author><pubDate>Tue, 28 Nov 2017 22:32:33 +0800</pubDate><description><![CDATA[0 前记：yum安装Ganglia比起make install 安装Ganglia方式要简单很多，因为yum方式安装不用自己去下载编译安装各依赖包。 
下面我介绍Ganglia在CentOS7_x86_64上的一个最简单的yum安装与配置的例子，只有1个Hadoop集群： 
Hadoop cluster：Hadoop集群，1个name node，20个data node（使用HadoopNameNo]]></description><category></category></item><item><title><![CDATA[hive 运行中断]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78659958</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78659958</guid><author>agent_x</author><pubDate>Tue, 28 Nov 2017 22:11:36 +0800</pubDate><description><![CDATA[在每台服务器上执行：ntpdate asia.pool.ntp.org    同步所有的服务器的时间
不能联网时的时间同步

hive java heap space]]></description><category></category></item><item><title><![CDATA[Sublime安装配置以及scala代码测试编译]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/78659904</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/78659904</guid><author>agent_x</author><pubDate>Tue, 28 Nov 2017 22:06:08 +0800</pubDate><description><![CDATA[下载安装Sublime text3 、JDK、scala
配置环境变量]]></description><category></category></item><item><title><![CDATA[Windows源码编译Hadoop 2.8.0]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/76561461</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/76561461</guid><author>agent_x</author><pubDate>Tue, 01 Aug 2017 22:52:50 +0800</pubDate><description><![CDATA[相关依赖1.JDK 1.7+ 
2.maven 3.0+ 
3.findbugs 
4.zlib headers 1.2.7+ (如果要编译得到native code) 
5.cmake 2.6+ 
6.protocbuffer 2.5.0 
7.windows SDK or Visual Studio 2010 SP1(如果是vs2010，最好升级为sp1，否则那个cvtres.exe会疯掉)]]></description><category></category></item><item><title><![CDATA[hadoop源码编译]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/75013669</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/75013669</guid><author>agent_x</author><pubDate>Wed, 12 Jul 2017 14:50:17 +0800</pubDate><description><![CDATA[Hadoop源码编译： 
系统：CentOS 7 
源码：hadoop-2.7.31.安装Java要求jdk 1.7+以上版本，下载系统对应版本，这里我们使用jdk1.8。最好卸载之前系统自带的OpenJDK,这里使用rpm安装rpm -ivh jdk-8u131-linux-x64.rpm2.安装mavenyum install -y maven3、安装protobuf和findbugs hadoop]]></description><category></category></item><item><title><![CDATA[yum本地源配置]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/74936814</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/74936814</guid><author>agent_x</author><pubDate>Mon, 10 Jul 2017 21:22:05 +0800</pubDate><description><![CDATA[当我们需要部署系统，但是可能出现不能连外网或者网速较慢的情况，这时我们就需要搭建一个本地yum仓库了。建立本地仓库通常有两种方式： 
1.可以通过 yum install –downloadonly 的方式从外网机器上下载相关的rpm安装包，然后建立一个本地仓库。 
2.挂载CentOS光盘作为本地源。一、创建自定义本地源1、在一台联网的机器上使用yum下载安装依赖yum install -y --]]></description><category></category></item><item><title><![CDATA[CentOS安装JDK]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/74680176</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/74680176</guid><author>agent_x</author><pubDate>Fri, 07 Jul 2017 14:11:32 +0800</pubDate><description><![CDATA[CentOS安装JDK 
1.卸载OpenJDK 
2.下载JDK 
3.安装JDK下载JDK从官网上下载对应系统版本的JDK,下载地址： 
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 
 
我们的系统是CentOS 7 ,这里可以选择rpm包卸载OpenJDK、旧版本JDK查]]></description><category></category></item><item><title><![CDATA[CentOS用户添加sudo权限]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/74661572</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/74661572</guid><author>agent_x</author><pubDate>Fri, 07 Jul 2017 13:17:50 +0800</pubDate><description><![CDATA[CentOS用户添加sudo权限将用户添加到sudoer列表即可CentOS 默认情况下，Linux没有将当前用户列入到sudoer列表中，这时如果你使用sudo来执行某些命令的话，就会提示你该用户不再sudoer列表中。这时，我们就需要手工加入了。步骤1.切换到root用户：$su,输入root用户密码，切换到root用户 
2.编辑sudo的配置文件：visudo 
3.输入/root,找到##]]></description><category></category></item><item><title><![CDATA[Ubuntu 16.04 安装之后常见环境配置]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/51985583</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/51985583</guid><author>agent_x</author><pubDate>Thu, 21 Jul 2016 18:38:31 +0800</pubDate><description><![CDATA[Ubuntu 16.04 安装之后常见环境配置安装Ubuntu后，搭建常用的开发环境：
安装git和vpnc
oracle java
搜狗输入法
vim
sublime text 3
chrome
pycharm
IntellijIDEA
安装脚本sudo apt-get install vpnc git #安装vpn和git
sudo apt-get remove unity-webapps-co]]></description><category></category></item><item><title><![CDATA[VS2013 编译x264]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/51160676</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/51160676</guid><author>agent_x</author><pubDate>Fri, 15 Apr 2016 12:22:41 +0800</pubDate><description><![CDATA[VS2013编译x264]]></description><category></category></item><item><title><![CDATA[VS2013编译ffmpeg]]></title><link>https://blog.youkuaiyun.com/agent_x/article/details/51044669</link><guid>https://blog.youkuaiyun.com/agent_x/article/details/51044669</guid><author>agent_x</author><pubDate>Sat, 02 Apr 2016 17:26:33 +0800</pubDate><description><![CDATA[VS2013编译ffmpeg由于毕设需要开始学习ffmpeg，因为要修改源码所以这里只能是源码编译。如果要直接使用ffmpeg网上有现成的SDK。源码编译，当然搭环境的是第一步。在Windows平台上比较麻烦，需要的东西比较多。
Mingw
yasm
SDL
ffmpeg
具体步骤1.安装mingw,下载地址：http://www.mingw.org/；下载完成后安装，安装完成后点运行，标记上以下几]]></description><category></category></item></channel></rss>