<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[风筝中有风]]></title><description><![CDATA[赶在大数据风口浪尖的一名努力程序员。。。]]></description><link>https://blog.youkuaiyun.com/Fighingbigdata</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Fighingbigdata]]></copyright><item><title><![CDATA[采用YCSB对Hbase进行性能测试]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79495251</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79495251</guid><author>Fighingbigdata</author><pubDate>Fri, 09 Mar 2018 17:36:27 +0800</pubDate><description><![CDATA[参考博客：http://blog.youkuaiyun.com/bryce123phy/article/details/51254235                 https://zhuanlan.zhihu.com/p/29370650上一篇对大数据平台基准测试结合其他博客作了一个总结，这两天需要对hbase进行性能测试，这里也对雅虎的YCSB作一下自己的总结。1、YCSB介绍YCSB，全称为“Yah...]]></description><category></category></item><item><title><![CDATA[采用Hibench进行大数据平台（CDH）基准性能测试]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79468898</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79468898</guid><author>Fighingbigdata</author><pubDate>Wed, 07 Mar 2018 15:27:54 +0800</pubDate><description><![CDATA[参考博客地址：http://blog.youkuaiyun.com/wenwenxiong/article/details/77628670                        http://www.cnblogs.com/hellowcf/p/6912746.html最近的项目要给客户部署一套大数据平台（CDH），因此要出一个关于平台本身的性能测试。对测试流程不太了解，相比于项目功能测试，这种平台...]]></description><category></category></item><item><title><![CDATA[hbase跨集群迁移（两集群网络不通）]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79098384</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/79098384</guid><author>Fighingbigdata</author><pubDate>Thu, 18 Jan 2018 17:24:15 +0800</pubDate><description><![CDATA[这两天公司集群需迁移到华为FI大数据平台，hive，hbase，脚本等迁移就开始采坑了。。。先是查看资料hbase迁移大致有几种方案：1、distcp2、CopyTable3、Export and Import4、copyToLocal and copyFromLocal由于迁移是从cdh开源集群迁移到华为大数据平台（FI），一开始采用的第4中方法，网上找了些资料，数据也能正常上传，但是执行hba]]></description><category></category></item><item><title><![CDATA[spark统计文件行数]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78971177</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78971177</guid><author>Fighingbigdata</author><pubDate>Thu, 04 Jan 2018 15:09:06 +0800</pubDate><description><![CDATA[虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷
1、spark读取文件，统计行数
Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。]]></description><category></category></item><item><title><![CDATA[Python命令行应用工具docopt]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78964142</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78964142</guid><author>Fighingbigdata</author><pubDate>Wed, 03 Jan 2018 18:20:01 +0800</pubDate><description><![CDATA[Python有很多写命令行应用的工具，如argparse, docopt, options...

这里记录一下关于docopt的相关用法。

#!/usr/bin/python
#-*- coding:utf-8 -*-

#######################################
#注意：Usage 必须写，且必须和Options间隔一行
#Usage 中的参数需在]]></description><category></category></item><item><title><![CDATA[python requests库相关操作api]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78788586</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78788586</guid><author>Fighingbigdata</author><pubDate>Wed, 13 Dec 2017 10:00:09 +0800</pubDate><description><![CDATA[看了一些python的代码，对python中requests的相关用法参数不是很理解，就百度了一下，发现一篇比较好的博文。
原文地址：http://blog.youkuaiyun.com/shanzhizi/article/details/50903748]]></description><category></category></item><item><title><![CDATA[mysql创建用户以及赋权]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78748742</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78748742</guid><author>Fighingbigdata</author><pubDate>Fri, 08 Dec 2017 10:19:18 +0800</pubDate><description><![CDATA[1、创建用户
CREATE USER 'username'@'host' IDENTIFIED BY 'pwd'; 

username --- 你将创建的用户名,;
host ---- 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost, 如果想让该用户可以从任意远程主机登陆,可以使用通配符%;
pwd --- 该用户的登陆密码,也可以为空； 

例如创建一个用户]]></description><category></category></item><item><title><![CDATA[sparkstreaming官方文档笔记]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78741622</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/78741622</guid><author>Fighingbigdata</author><pubDate>Thu, 07 Dec 2017 15:27:35 +0800</pubDate><description><![CDATA[1、sparksteaming 入门例子
    注：代码摘自spark官方文档  http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-example

import org.apache.spark._
import org.apache.spark.streaming._
import ]]></description><category></category></item><item><title><![CDATA[Spark SQL RDD与DataFrames相互转换]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/73380300</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/73380300</guid><author>Fighingbigdata</author><pubDate>Sat, 17 Jun 2017 14:52:28 +0800</pubDate><description><![CDATA[一 、spark-SQL的DataFrame与RDD的相互转换通常有两种(spark 1.6.x)：
第一种方式是使用反射机制推断RDD中schema和类型信息。适用于已知schema的场景；
第二种方式是通过程序接口构造数据的schema,将schema应用于RDD，此方式适用于程序开发时才能确定数据schema、类型的场景。
1.1 第一种，通过反射推断schema信息
     sp]]></description><category></category></item><item><title><![CDATA[spark-SQL的DataFrame和DataSet]]></title><link>https://blog.youkuaiyun.com/Fighingbigdata/article/details/73379983</link><guid>https://blog.youkuaiyun.com/Fighingbigdata/article/details/73379983</guid><author>Fighingbigdata</author><pubDate>Sat, 17 Jun 2017 14:26:16 +0800</pubDate><description><![CDATA[1、如何对DataFrame中封装的数据进行操作


       方法一： 

                 sqlContext.read()    返回DataFrameReader对象

        
 sqlContext.read().json("student.json")   读取一个json文件（这个json文件中的内容不能是嵌套的）读进来变成DataFr]]></description><category></category></item></channel></rss>