- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 SparkSql读取json文件指定与不指定schema的区别
SparkSql读取json文件指定与不指定schema的区别sparksql 可以读取json文件，转换成dataframe,并且可以自行推断schema；如果显式的提供schema可以避免额外的扫描判断。数据准备{"name":"jack","age":12,"address":"昌平区东小","location":[116.4021289,40.05688698]}{"name":"lili","age":22,"address":"昌平区回龙","location":[116.341
2021-04-19 12:21:38
1495
原创 hive源码阅读--CliDriver
说明：根据自己捣鼓的做下记录，草稿，以后再修改hive-1.2.1版本根据查询调试阅读在hive-cli的debug模式下输入use test; private int executeDriver(CliSessionState ss, HiveConf conf, OptionsProcessor oproc) throws Exception { Cli...
2019-11-08 17:49:17
471
原创 python基础命令
linux下查看python的安装位置先python3进入python cmd，输入命令：import sysprint (sys.path)安装pipsudo apt-get install python-pipsudo apt-get install python3-pip卸载pip$ sudo apt-get remove python
2017-03-31 13:39:20
894
转载 Vim的Python编辑器详细配置过程 (Based on Ubuntu 12.04 LTS)
为什么要用vim编辑py文件？因为在Linux命令行中，缺少图形界面的IDE，vim是最佳的文本编辑器，而为了更好的编辑py文本，所以配置vim。 1. 安装完整版vimvi和vim的区别？在Linux自带有vi编辑器，而vim是指vi improved，即vi升级版。区别在于vi指令和功能较vim简单，正因如此才有了vi improved。Ubuntu自带的vi编辑器是v
2017-03-22 15:02:14
838
转载 零基础如何学爬虫技术？
第一：Python爬虫学习系列教程（来源于某博主：http://cuiqingcai.com/1052.html）Python版本：2.7 整体目录：一、爬虫入门1. Python爬虫入门一之综述2. Python爬虫入门二之爬虫基础了解3. Python爬虫入门三之Urllib库的基本使用4. Python爬虫入门四之Urllib库的高级用
2017-03-22 11:01:11
1684
转载 Linux之vi三种模式常用操作的学习
1、vi的三种模式 2、切换到编辑模式的四种方式，编辑模式可以输入任意内容 a 光标向后移动一位 i 当前位置 o 另起新行 s 删除光标所在字符 r 替换光标所在字符3、尾行模式，用于保存内容、查找替换、设置行号等等功能性操作 :q //quit退出vi编辑器 :w //write保存修改的内容 :wq //保存并退出
2017-03-09 10:59:55
1062
原创 数据分析的书籍
一、数据分析-入门篇 1.1《谁说菜鸟不会数据分析》 作者：张文霖, 刘夏璐, 狄松 简介：本书按照数据分析工作的完整流程来讲解。全书共8章，分别讲解数据分析必知必会的知识、数据处理技巧、数据展现的技术、通过专业化的视角来提升图表之美、数据分析报告的撰写技能以及持续的修炼。 本书形式活泼，内容丰富而且充实，让人有不断阅读下去的动力。读者完全可
2016-12-28 10:06:14
2517
原创 电商数据分析基础指标体系
http://mp.weixin.qq.com/s?__biz=MjM5MDAxNjkyMA==&mid=400110817&idx=2&sn=695d553adfa4a04e6634932aa20003db&scene=0#rd电商数据分析基础指标体系http://www.woshipm.com/operate/36334.html一个电商数据分析师的经验总结http:/
2016-12-27 01:26:59
3052
转载 SQL查询 - 表连接常用 左外连接、右外连接、内连接
一、连接查询简介 连接查询中用来连接连个表的条件称为连接条件或连接谓词。其形式为：[].列名1>连接运算符>[].列2> 常见的连接运算符包括 1、比较运算符：=、>、=、 2、逻辑运算符:not、and、or。 3、使用between和and连接查询形式为[].[].and[].。二、连接按照结果集分类 1、内连
2016-12-22 09:41:46
5844
转载 SQL表连接图解
对于SQL的Join，在学习起来可能是比较乱的。我们知道，SQL的Join语法有很多inner的，有outer的，有left的，有时候，对于Select出来的结果集是什么样子有点不是很清楚。Coding Horror上有一篇文章,通过文氏图 Venn diagrams 解释了SQL的Join。我觉得清楚易懂，转过来。 假设我们有两张表。Table A 是左边的表。Table B 是右
2016-12-22 09:35:58
678
原创 SQL试题
1.一道SQL语句面试题，关于group by表内容：2005-05-09 胜2005-05-09 胜2005-05-09 负2005-05-09 负2005-05-10 胜2005-05-10 负2005-05-10 负如果要生成下列结果, 该如何写sql语句? 胜 负2005-05-09 2 22005-05-10 1 2
2016-12-22 09:03:11
9343
原创 SQL试题整理
1 查询每门课程成绩都大于80分学生的学号 数据库 表 studentname course scoreA 语文 85A 数学 75A 英语 80B 语文 86B 数学 98C 语文 81C 数学 88C 英语 90--创建表acreate table a(name va
2016-12-13 16:14:55
552
转载 case when 用法
SQL中的case when then else end用法Case具有两种格式。简单Case函数和Case搜索函数。--简单Case函数CASE sex WHEN '1' THEN '男' WHE
2016-12-13 14:51:16
5025
转载 mysql 查询练习
http://wenku.baidu.com/link?url=3ZUOEMrEb8RCS23ssXehNITYtYDeiP2OC0iK1Uqdsm5ppG5yHTsaF670Q6jKHMjWZ6Qf7wtuDKX-p81abw4mWOAJGvZObmUQyBhe6KnKOFS
2016-12-13 14:38:21
619
转载 MySQL年龄日期问题
模拟数据如下,使用了数字辅助表创建数据.http://blog.itpub.net/29254281/viewspace-1362897/drop table if exists t;create table t( id int primary key auto_increment, birthday datetime );truncate ta
2016-12-13 13:57:52
2218
转载 MySQL 获得当前日期时间 函数
MySQL 获得当前日期时间 函数获得当前日期+时间（date + time）函数：now()mysql> select now();+---------------------+| now() |+---------------------+| 2008-08-08 22:20:46 |+---------------------+获得当前日期+时
2016-12-13 13:49:49
439
转载 mysql 聚集函数 count 使用详解
点击打开链接mysql 聚集函数 count 使用详解mysql 聚集函数 count 使用详解本文将探讨以下问题1.count(*) 、 count(n)、count(null)与count(fieldName)2.distinct 与 count 连用3.group by (多个字段) 与 count 实现分组计数4.case whe
2016-12-13 13:17:21
850
mongodbreader-0.0.1-SNAPSHOT.jar
2020-03-16
elasticsearch-hadoop-2.4.0.jar
2019-11-08
apache-hive-1.2.1-src.zip
2019-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人