- 博客(43)
- 收藏
- 关注
RSS订阅转载 在mac中使用Docker搭建oracle
有个朋友老是吹Docker怎么怎么样，一直不以为然，后来有次需要自己mac电脑上搭建oracle，又不想装虚拟机，想起有Docker这个东西就研究了下怎么使用，记录下摸索的过程。1.在mac中使用Docker搭建oracle2.搭建环境的初期准备3.下载镜像4.启动容器5.导入数据搭建环境的初期准备先到阿里云镜像站https://mirrors.aliyun.com/dock...
2019-06-22 00:30:55
1572
1
转载 解决 ORA-21561: OID generation failed
昨天更新了macOS Sierra 后，发现用 Navicat 连接 Oracle 报 ORA-21561: OID generation failed 错误解决方法打开终端，查看 hostnamehostname发现是 local 而不是 localhost查看 hosts 文件cat /etc/hosts内容为### Host Database##...
2019-06-22 00:14:03
2258
转载 Pycharm打印结果省略的解决方法
pandas是python提供的非常好用的数据分析模块，但是在使用pandas进行数据分析时，有时候需要查看打印的结果，当dataframe行数或者列数比较多的时候，打印结果总是有一些省略号，不能完整的看到数据的大致分布，比如最大值，最小值，等等，了解数据分布的区间有助于进行可视化和进一步分析。 查看pandas的文档，这个问题可以通过pandas内置的set...
2018-10-05 10:53:14
8891
原创 python使用webdriver启动chrome时, 报错Message: 'chromedriver'executable needs to be in PATH
1. 下载chromedriverhttp://npm.taobao.org/mirrors/chromedriver/2. 将chromedriver.exe放到py文件的目录下 3. 添加 executable_path='./chromedriver' 如下def start_chrome(): driver = webdriver.Chrome(execut...
2018-09-24 00:04:14
2020
原创 启动pyspark，报错socket.gaierror: [Errno -2] Name or service not known
启动pyspark报错，如下：[root@hadoop-senior spark-1.6.0-cdh5.13.0]# pysparkPython 2.6.6 (r266:84292, Aug 18 2016, 15:13:37) [GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] on linux2Type "help", "copyright", "cre...
2018-09-17 10:49:15
3794
转载 学习爬虫的几篇文章
python爬虫设置代理IP的方法：https://www.jb51.net/article/135851.htm通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据：https://www.jb51.net/article/73780.htmPython动态网页爬虫技术：http://www.360doc.com/content/18/0122/22/5315_72427748...
2018-09-16 16:14:46
178
原创 爬取网页数据时，出现UnicodeEncodeError: 'gbk' codec can't encode character '\ue4bf'
UnicodeEncodeError: 'gbk' codec can't encode character '\ue4bf' in position 1235: illegal multibyte网页的数据应该是'utf-8'编码,这个可以在网页的head上面看得到,然后你爬网页的时候会把它转化成Unicode,出问题的是在print()这儿,对于print()这个函数,他需要把内容转化为'...
2018-09-16 14:37:44
683
转载 linux下改变文件的编码格式
1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式:set fileencoding=utf-82. enconv 转换文件编码，比如要将一个GBK编码的文件转换成UTF-8编码，操作如下enconv -L zh_CN -x UTF-8 filename3. iconv 转换，iconv的命令格式如下：iconv -f encoding -t encoding inp...
2018-09-15 16:31:34
12436
原创 执行Sqoop时，SemanticException [Error 10072]: Database does not exist
[root@hadoop-senior ~]# sqoop create-hive-table --connect jdbc:mysql://hadoop-senior:3306/test --table my_user --username root --password 123456 --hive-table liantong0826.zhuyu_stud_info_sqoop 报错：...
2018-09-15 14:54:28
3990
原创 使用python将多个文件合并成一个文件
import os#获取目标文件夹的路径filedir = '/Users/rise/Desktop/results'#获取当前文件夹中的文件名称列表 filenames=os.listdir(filedir)#打开当前目录下的result.json文件，如果没有则创建f=open('results.json','w')#先遍历文件名for filename in filena...
2018-09-09 10:12:51
5974
2
转载 使用sqoop将mysql数据导入hbase
下表： 1、通过hbase shell 打开hbase。2、创建一个hbase表create 'so','o' 3、将so表的数据导入到hbase中。opt文件：--connect：数据库--username ：数据库用户名--password ：数据库密码--table ：需要sqoop的表--columns ：表中的列...
2018-09-08 16:36:14
1260
1
原创 Mac下python3.0使用matplotlib中文乱码(方块)
方法一：1. 添加SimHei字体（simhei.ttf文件） 到/Users/rise/anaconda3/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf/（下载地址：黑体字体simhei.ttf）2. 删除~/.matplotlib/下的所有缓存文件 rm -rf ~/.matplotlib/*...
2018-09-06 20:03:57
1937
1
转载 Charles乱码问题
安装ssl证书3.10版本之前的需要去http://www.charlesproxy.com/ssl.zip 下载 CA 证书文件，然后双击 .crt 文件，选择‘总是信任’按钮，在钥匙串访问中即可看到添加成功的证书。我是4.02版本的，在3.10版本之后的，操作如下： 先点proxy中的macOS Proxy ，如果点击网页，Charles没有出现东西的话，把翻墙软件关了 ...
2018-09-04 16:55:55
1923
原创 Python连接mysql，在python解释器中进行创建表、插入数据时，在Python解释器中可以查看到数据，但是在mysql中查询不到数据
解决方案：数据库没有开启事务自动提交( cursor.commit())时，在执行操作时，需要手动提交(cursor.autocommit(True))。
2018-09-01 09:27:46
820
1
转载 Unicode、UTF-8、UTF-16之间的区别
为啥需要Unicode 我们知道计算机其实挺笨的,它只认识0101这样的字符串,当然了我们看这样的01串时肯定会比较头晕的,所以很多时候为了描述简单都用十进制,十六进制,八进制表示.实际上都是等价的,没啥太多不一样.其他啥文字图片之类的其他东东计算机不认识.那为了在计算机上表示这些信息就必须转换成一些数字.你肯定不能想怎么转换就怎么转,必须得有定些规则.于是刚开始的时候就有AS...
2018-08-29 14:51:24
44416
8
转载 Python的字符编码
前言：中文编码问题一直是程序员头疼的问题，而Python2中的字符编码足矣令新手抓狂。本文将尽量用通俗的语言带大家彻底的了解字符编码以及Python2和3中的各种编码问题。一、什么是字符编码。要彻底解决字符编码的问题就不能不去了解到底什么是字符编码。计算机从本质上来说只认识二进制中的0和1，可以说任何数据在计算机中实际的物理表现形式也就是0和1，如果你将硬盘拆开，你是看不到所谓的数字0和1...
2018-08-29 14:47:36
180
原创 Navicat连接Linux中的mysql失败：需要开启远程访问
1. 进入mysql，给root用户开启远程访问mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;Query OK, 0 rows affected, 1 warning (0.01 sec)2. 刷新权限mysql> flush privi...
2018-08-23 14:22:57
813
原创 apt-get update 域名无法解析
执行apt-get update出错：root@dbserver1:/etc/apt/sources.list.d# apt-get update错误:1 http://security.ubuntu.com/ubuntu xenial-security InRelease 暂时不能解析域名“security.ubuntu.com”错误:2 http://ppa.launchpad.n...
2018-08-23 01:07:07
13205
6
原创 Ubuntu中MySQL初始化失败，解决方法
root@dbserver1:/usr/local/mysql# bin/mysqld --initialize --user=mysql2018-08-22T09:37:02.595453Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_ti...
2018-08-22 17:39:39
1516
转载 Ubuntu网络设配置IP、网关、DNS
在网上给的教程上面通常会有这样的一个误导思路，按照配置文件设置后会不生效的问题，甚至没有一点效果，经过排查发现Linux下设置IP这个话题的入口线索应该分为两种：1为Server版，2为Desktop版，这两种版本的设置方式有很大区别，主要在于软件的问题。Service版按常规版设置即可，但是Desktop版的有一个Network-manager的软件，这个软件是简化IP的设置，所...
2018-08-22 13:05:26
705
转载 克隆虚拟机及参数修改
克隆VM lunix虚拟机 修改unix系统参数通过上一步的克隆，得到多个unix系统环境，现在拿其中一个进行修改举例，其余部分大致相同，除了IP和主机名以外。第一步 修改mac地址在虚拟机还未启动之前，先修改该系统的mac地址，如下操作所示。 生成新的mac地址，并用记事本记录 修改完成后启动虚拟机 打开终端窗口并切换到root用户，键入命令vim /etc/u...
2018-08-22 11:38:38
319
转载 启动hadoop时报root@localhost's password: localhost: Permission denied, please try again.错误。
在装完hadoop及jdk之后，在执行start-all.sh的时候出现root@localhost's password:localhost:permission denied,please try again。 解决方案：1.修改root密码：#sudo passwd root2.辑配置文件，允许以 root 用户通过 ssh 登录：sudo vi /etc/ssh/sshd...
2018-08-22 10:53:31
8725
1
原创 Hadoop启动不起来NameNode
如果查看日志没有什么日常，且配置文件检查后没有问题：格式化namenode(bin/hdfs namenode -format)，然后重新启动。
2018-08-22 09:17:07
1047
转载 Ubuntu安装Redis及测试
在 Ubuntu 系统安装 redis 可以使用以下命令:$ sudo apt-get update$ sudo apt-get install redis-server启动 redis$ redis-server查看 redis 的运行状态$ service redis-server status查看 redis 的是否启动$ redis-cli127.0...
2018-08-22 01:07:12
2213
转载 Ubuntu安装Mysql教程
Ubuntu 16.04安装MySQL 此篇为http://www.cnblogs.com/EasonJim/p/7139275.html的分支页。安装MySQL前需要做如下了解：1、MySQL各类型版本的区别，参考：http://www.cnblogs.com/EasonJim/p/6274344.html2、官方的下载地址一般指向最新的版本下载，如果要下载以前的版本，比如5...
2018-08-22 00:39:03
2206
转载 Ubuntu安装MongoDB教程
第一步：安装 #setp 1. Import the public key used by the package management system.sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6 ...
2018-08-21 23:44:21
1503
转载 Ubuntu安装Python3.6教程
首先拉取远程仓库sudo add-apt-repository ppa:jonathonf/python-3.6 这个过程可能会网络超时 这个时候…再来一遍，如果还有问题，参考https://mp.youkuaiyun.com/postlistOK之后，更新sudo apt-get updatesudo apt-get install python3.6tips: u...
2018-08-21 23:23:04
14354
3
转载 Ubuntu使用apt-get下载速度慢的解决方法
查看所用的源:$ sudo vim /etc/apt/sources.list 由于安装的Ubuntu Server 16.04.1 LTS是英文版的，软件源就默认都是 us.archive.ubuntu.com（英国） 的，所以很慢。# deb cdrom:[Ubuntu-Server 16.04.1 LTS _Xenial Xerus_ - Release amd64 (...
2018-08-21 23:08:03
38995
8
转载 SecureCRT连接Ubuntu，拒绝连接的解决方法
转自：https://blog.youkuaiyun.com/kan2281123066/article/details/56485404 操作环境：VMwareWorkstation10.0 + Ubuntu 16.10出现的问题 用secureCRT连接Ubuntu提示远程系统拒绝访问和提示登录账户和密码错误。解决办法 （1）开启ubuntu上的ssh功能，先安装，安装后就自动开启了。...
2018-08-20 17:03:10
4505
3
原创 任务调度框架Oozie学习笔记
目录1. 工作流调度框架Oozie功能初步认识2. 几种调度框架讲解3. Oozie 功能架构及三大Server讲解4. Oozie安装部署5. Oozie案例运行MapReduce Wordflow讲解6. 如何定义OoozieWorkflow讲解7. Oozie Workflow中MapReduce Action定义讲解8. 编写Oozie...
2018-07-16 21:28:50
7330
原创 文件收集框架Flume学习笔记
1．Flume功能概述 Flume是一个分布式的，可靠的，可用的服务，用于高效地收集，汇总和移动大量的日志数据。它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展的数据模型，允许在线分析应用程序。 flume的分布式如下图： 企业中的应用： 2. Flume架构设计工作流程：source从服务器拿...
2018-07-16 09:35:59
277
原创 数据转换工具Sqoop学习笔记
（导入导出是相对于HDFS） 1. 大数据Hadoop2.x协作.框架的功能 2. Sqoop 使用要点（核心）及企业版本讲解所以我们就使用CDH的发行版本，而不使用apache的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/所有框架的cdh版本要相同。 3. 使用CDH 5.13.0版本快速搭建Hadoop 2...
2018-07-15 22:56:41
416
原创 HBase学习笔记 (三)
一、HBase高级使用 1．HBase Shell创建表（多个列簇和设置属性） 创建命名空间：例如：Createa table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1',VERSIONS => 5} Createa table with namespace...
2018-07-14 23:33:53
647
原创 Hive学习笔记 (三)
一、 Hive高级进阶 1. HiveServer2、Beeline、JDBC的使用 hive是CLI，HiveServer2(HS2)是一种能使客户端执行Hive查询的服务。 HiveServer2是HiveServer1的改进版，需要和beeline结合使用。一个终端启动hiveserver2，另一个终端启动beeline。 启动hiveserver2并用beelin...
2018-07-12 16:50:44
563
原创 Hive学习笔记 (一)
一、 Hive初识入门 1. Hive的背景及概念之前的程序员大多都使用sql，让他们写MapReduce需要培训，成本高。 ETL（ Extract-Transform-Load） 2. Hive的架构、优点及使用场景讲解 3. Hive安装部署及简单测试（使用derby存储元数据） ① 修改配置文件：hive-env.sh（重命名hive-e...
2018-07-11 16:21:18
980
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人