- 博客(30)
- 收藏
- 关注
RSS订阅原创 Thrift服务（三）：使用实战
实战环境win10IDEA 2018.1.6JDK 1.8thrift 0.11.0spring-boot 2.2.1创建Thrift项目创建Thrift项目编译thrift文件，导出成java文件,并将编译导出的java文件打成jar包，作为Thrift API创建Thrift项目新建一个maven项目，在src/main包下创建thrift文件夹和java文件夹，在...
2019-11-24 22:09:19
980
原创 Thrift服务（二）：安装
环境win10下载下载的版本为0.11.0，目前最新版到了0.13.0.下载采用清华的镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/thrift/0.11.0/thrift-0.11.0.exe安装将exe文件下载到C:\Thrift（路径可更改）。将thrift-0.11.0.exe改名为thrift.exe。配置环境变量：...
2019-11-21 11:48:21
421
原创 Thrift服务（一）：介绍
前言Apache Thrift是一种RPC框架。RPC（Remote Procedure Call）即远程过程调用。其调用协议通常包含传输协议和序列化协议。传输协议包含: 如著名的gRPC(grpc / grpc.io) 使用的 http2 协议，也有如dubbo一类的自定义报文的tcp协议。序列化协议包含: 如基于文本编码的 xml json，也有二进制编码的 protobuf hessia...
2019-11-21 11:25:00
1864
原创 Kylin实战：建立cube的优化
目录背景Kylin的维度组合优化1、 Mandatory维度2、 hierarchy维度3、 derived维度4、 联合维度Kylin的Rowkey优化1、编码2、顺序3、分片背景了解OLAP Cube的人都会知道，建立cube的过程中往往会出现“维度爆炸”问题。Kylin是典型的Multidimensional OLAP应用，牺牲灵活性，使用预计...
2019-10-17 20:53:00
455
原创 centos7安装python3
一、前言 Centos7系统中默认安装了python2，但是由于项目需要使用python3。故此想在不影响python2的情况下添加Python3的环境。centos系统中有许多程序功能都依赖python2环境（比如yum），所以尽量不要改变python2的环境。二、环境 centos7.5 python3.6三、安装步骤安装依赖环境 yum -y install zl...
2019-08-13 19:49:37
131
原创 centos7.5安装Superset
一、环境centos7.5二、安装步骤1、首先安装python3的环境2、安装虚拟环境pip3 install virtualenv3、创建虚拟环境virtualenv supersetenv4、进入虚拟环境目录cd supersetenv/5、激活虚拟环境source ./bin/activate以下操作均在supersetenv虚拟环境下...
2019-08-13 19:24:26
484
原创 Centos7安装mysql-devel
目录一、环境二、安装步骤三、解决方案一、环境centos7.4mysql5.6二、安装步骤Yum install mysql-devel报错如下：显示依赖包冲突因为centos7中默认的源是MariaDB，不再采用mysql，所以我之前安装的mysql是自己添加yum源安装的。三、解决方案不采用yum安装，采用自己下载相应的...
2019-08-13 19:05:37
8550
3
原创 centos7.5安装Docker
前言Docker从1.13版本之后采用时间线的方式作为版本号，分为社区版CE和企业版EE。社区版是免费提供给个人开发者和小型团体使用的，企业版会提供额外的收费服务，比如经过官方测试认证过的基础设施、容器、插件等。社区版按照stable和edge两种方式发布，每个季度更新stable版本，如17.06，17.09；每个月份更新edge版本，如17.09，17.10。安装1. 检查...
2019-08-07 09:55:37
158
原创 通过StructType直接指定Schema
Spark SQL能够将含Row对象的RDD转换成DataFrame，并推断数据类型。通过将一个键值对（key/value）列表作为kwargs传给Row类来构造Rows。key定义了表的列名，类型通过看第一列数据来推断。（所以这里RDD的第一列数据不能有缺失）未来版本中将会通过看更多数据来推断数据类型，像现在对JSON文件的处理一样。package com.wl.sparkimport ja...
2018-04-07 17:16:20
11571
1
原创 通过反射推断Schema
使用反射来推断包含特定对象类型的RDD的模式(schema)。适用于写spark程序的同时，已经知道了模式，使用反射可以使得代码简洁。结合样本的名字，通过反射读取，作为列的名字。这个RDD可以隐式转化为一个SchemaRDD，然后注册为一个表。表可以在后续的sql语句中使用。代码实现：package com.wl.sparkimport org.apache.spark.rdd.RDDimp...
2018-04-07 16:33:21
743
原创 linux系统时间每次开机都不一致的问题
问题导读：使用date -s修改过时间，可是每次开机后时间都不对。 貌似还是有规律的，总是会比windows系统时间慢两个小时左右。原因分析：网上查资料后发现，linux系统时间和硬件时间不一致引起的。解决方法：查看系统时间：hwclock 查看硬件时间：hwclock --localtime发现系统时间比硬件时间快了八个小时。查看硬件时间的设置方式：[root@hadoop002 ~]# vi ...
2018-03-27 09:28:42
10671
原创 oozie官方案例
首先安装配置完oozieoozied.sh start在后台运行步骤：1、在oozie的根目录下找到oozie-examples.tar.gzoozie-examples.tar.gz2、解压：[hadoop@hadoop002 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz解压后结果：3、将此examples传到hdfs的根目录下[h...
2018-03-26 22:11:09
886
原创 启动hive时报错Access denied for user 'root'@'hadoop01' (using password: YES)
将hive的元数据存放数据库由derby改为Mysql后启动时，报错信息如下Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop01' (using password: YES)该错误信息为权限问题或者密码问题首先查看是否为密码问题，如果不是，一般即为权限问题。查询用户所拥有的访问权限信息的命令如下：mysq...
2018-01-23 23:31:59
10703
3
转载 oozie 4.3.0 编译安装
本文章转载至http://blog.youkuaiyun.com/u010839779/article/details/79124124，感谢博主Oozie的编译：系统需求：Unix box (tested on Mac OS X and Linux)Java JDK 1.7+Maven 3.0.1+Hadoop 0.20.2+Pig 0.7+
2018-01-22 18:17:54
358
原创 网络爬虫Scrapy框架入门
一、安装Scrapy首先是安装Scrapy，当然还是pip大法了。但是安装过程中会报错，原因是缺少pywin32，可下载相对应python版本的。下载链接下载之后点击.exe程序运行安装。安装完pywin32，便可以安装Scrapy。pip install Scrapy之后可以验证一下：打开cmd命令窗口没报错就是OK了！二、Scrapy的使用这个框架与Be
2017-09-06 15:00:03
494
原创 python爬虫之pymysql库的使用(1)
首先自己的电脑上或服务器上要有MySQL数据库，可以是各种产品软件。另外自己要会数据库的基本操作，创建数据库、创建表、添加数据、修改数据、删除数据、查询数据等，可以用SQL语句去操作，也可以用图形化界面去操作，不过SQL语句还是要掌握的，比较重要。在进行网络数据采集时，处理Unicode字符串是很痛苦的事情。默认情况下，MySQL也不支持Unicode字符处理。不过你可以设置这个功
2017-09-05 11:24:02
721
原创 python爬虫之pymysql库的使用(2)
要想使用pymysql库，要先安装，因为这是第三方库。同样，可使用pip大法。安装过程就不说了，比较简单。下面通过实例来说明这个库和爬虫的结合使用：from urllib.request import urlopenfrom bs4 import BeautifulSoupimport re #导入正则表达式库import datetimeim
2017-09-05 11:13:39
438
原创 BeautifulSoup库之find、findAll和children、descendants
BeautifulSoup库提供了一些方法和属性去解析HTML，将HTML页面映射成一棵树。一、其中findAll函数通过标签的名称和属性来查找标签，返回一个列表例如：from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://www.pythonscraping.co
2017-09-02 11:22:02
9432
4
原创 windows下安装BeautifulSoup4
刚开始是有点小生气的，看了网上一些别人的安装教程，按照步骤下载BeautifulSoup4，然后安装，结果毫无意外的失败了我就试了一下pip安装，出现以下提示：Requirement already satisfied: beautifulsoup4 in c:\users\anmo\appdata\local\programs\python\python36\lib\site-packa
2017-08-31 18:11:52
5795
2
原创 matplotlib学习之scatter函数--绘制散点图
import matplotlib.pyplot as pltimport matplotlib as mplmpl.rcParams['font.sans-serif']=['SimHei'] #指定默认字体 SimHei为黑体mpl.rcParams['axes.unicode_minus']=False #用来正常显示负号squares = [1,4,9,16,25]input
2017-08-31 15:33:33
1158
原创 matplotlib学习之scatter()函数--颜色印射
import matplotlib.pyplot as pltimport matplotlib as mplmpl.rcParams['font.sans-serif']=['SimHei'] #指定默认字体 SimHei为黑体mpl.rcParams['axes.unicode_minus']=False #用来正常显示负号x_values = list(range(1,1001)
2017-08-31 15:16:49
8531
原创 matplotlib绘图之中文标题、坐标轴标签乱码问题
import matplotlib.pyplot as pltimport matplotlib as mpl# 解决中文乱码问题#sans-serif就是无衬线字体，是一种通用字体族。#常见的无衬线字体有 Trebuchet MS, Tahoma, Verdana, Arial, Helvetica, 中文的幼圆、隶书等等。mpl.rcParams['font.sans-serif
2017-08-31 14:55:01
10656
1
原创 matplotlib学习之plot函数
plot函数可以绘画折线图等，参数：linestyle：线条类型 marker ：折点(数据集中每个点) color ：线条颜色 linewidth ：线条宽度 label ：该线条的标签，需要配合legend函数才能显示,legend函数可以定义线条的标签（名字）放在图表的哪个地方，例如左上角等import matplotlib.pyplot as plt
2017-08-31 11:32:27
622
原创 微信小程序之this.setData
Page.prototype.setData()setData 函数用于将数据从逻辑层发送到视图层，同时改变对应的 this.data 的值。注意：直接修改 this.data 无效，无法改变页面的状态，还会造成数据不一致。单次设置的数据不能超过1024kB，请尽量避免一次设置过多的数据。setData() 参数格式接受一个对象，以 key，value 的形式表示将 this.data 中的 ke
2017-02-08 12:39:49
32395
原创 微信小程序之基本配置
1、pages接受一个数组，每一项都是字符串，来指定小程序由哪些页面组成。每一项代表对应页面的【路径+文件名】信息，数组的第一项代表小程序的初始页面。小程序中新增/减少页面，都需要对 pages 数组进行修改。文件名不需要写文件后缀，因为框架会自动去寻找路径.json,.js,.wxml,.wxss的四个文件进行整合。{ "pages":[ "pages
2017-02-08 12:26:11
466
原创 微信小程序
小程序包含一个描述整体程序的 app 和多个描述各自页面的 page。一个小程序主体部分由三个文件组成，必须放在项目的根目录，如下：一个小程序页面由四个文件组成，分别是：
2017-02-08 11:58:14
315
原创 探测对象以及用链接对用户进行重定向
一、探测对象在编写脚本时，可能希望检查浏览器是否有能力理解你要使用的对象。进行这种检查的方法叫 对象探测。例如：window.onload=initAll;function initAll(){ if (document.getElementById) { alert("123,yes"); } else { alert("Sorry，your browse
2016-11-14 17:24:28
433
原创 适当处理错误（捕获异常）
JS里的捕获异常和其他语言几乎是一样的，也是用的try、throw和catch用一个例子来说明一下：window.onload=initAll;function initAll(){ var ans=prompt("Enter a number！",""); try{ if (!ans||isNaN(ans)||ans<0) { throw ne
2016-11-14 13:51:19
459
原创 网页引入百度云地图之JS篇
本文大致介绍一下怎么在网页中引入百度云地图，其它更多功能还等着小伙伴去探索百度地图JavaScript API是一套由JavaScript语言编写的应用程序接口，可帮助您在网站中构建功能丰富、交互性强的地图应用，支持PC端和移动端基于浏览器的地图应用开发，且支持HTML5特性的地图开发。一、去百度云API官网申请密钥百度云API二、将密钥写到代码中
2016-11-13 13:38:46
654
原创 在慕课学习HTML与CSS基础课程的一些笔记
1、相对于浏览器窗口，设置图片垂直居中。2、当li设置为行内元素ul没有设置时，ul元素分行显示。当li和ul都设置为行内元素时，元素显示在一行。当li没有设置为行内元素，无论ul设置为行内元素与否，元素都分行显示3、像素为什么是相对单位呢？因为像素指的是显示器上的小点（CSS规范中假设“90像素=1英寸”）4、但注意有一些css样式是不具有继承性的。如border:1px
2016-07-17 17:34:03
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人