- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 centos7 升级gcc-8.2
关于daal的工作：检查环境：安装gcc、g++安装命令：yum install gcc yum install gcc-c++gcc 版本使用8.2 如果不匹配 需要进行更新：先去官网 http://ftp.tsukuba.wide.ad.jp/software/gcc/releases/ 下载对应的gcc压缩包然后解压并进入目录下：下载依赖包，如果下...
2019-10-22 20:41:39
793
原创 win 安装mysq-python出错的其他安装方式
在windows的命令行中输入：pip install mysql-python出现问题如下：_mysql.c(42) : fatal error C1083: Cannot open include file: 'config-win.h': No such file or directory缺少或者不存在config-win.h文件。介绍一种其它的安装方式。首先下载安...
2019-03-21 16:20:45
516
原创 Ubuntu 17 安装scrapy爬虫
Ubuntu 17 安装scrapy爬虫 第一步 安装pip：输入：sudo apt-get install python-pip 第二步 再执行：输入：sudo apt-get install python-dev 第三步 安装Scrapy ：输入：pip install Scrapy -i https://pypi.mirrors.ustc.edu.cn/sim...
2018-09-06 12:24:04
1071
1
原创 jupyter notebook 写代码自动补全
操作步骤 进入命令行环境。我使用的是conda。有两种方式进入命令行。 方法1：通过anconda navigator界面，选择environments，选择对应环境名，选择open terminal 方法2：直接使用cmd或者terminal等终端进入命令行。激活你想要配置代码补全的环境（如果是默认环境不用激活） 1.安装nbextensions ...
2018-08-09 17:36:46
56725
29
转载 Visual Studio 2015 产品下载地址以及激活码
Visual Studio Community 2015 简体中文免费版镜像SHA1：1044F9F4E0EA1304AFECF6780BF599F1DA248DF8http://download.microsoft.com/download/B/4/8/B4870509-05CB-447C-878F-2F80E4CB464C/vs2015.com_chs.iso Visual S...
2018-08-08 10:26:28
576
原创 在Linux 中安装hive数据仓库
hive正是实现了这个，hive是要类SQL语句（HiveQL）来实现对hadoop下的数据管理。hive属于数据仓库的范畴，那么，数据库和数据仓库到底有什么区别了，这里简单说明一下：数据库侧重于OLTP（在线事务处理），数据仓库侧重OLAP（在线分析处理）；首先确定 已经安装好了hadoop集群！在linux安装mysql 在命令行输入：(如果下载速度很慢，可以更改下载源，详情...
2018-08-03 20:57:45
2441
原创 windows下使用anaconda prompt修改 jupyter notebook打开文件夹路径
修改配置文件里面的路径。anaconda promt下运行jupyter notebook --generate-config，会生成配置文件jupyter_notebook_config.py。可以看到文件生成的路径：打开文件，查找## The directory to use for notebooks and kernels. 这一行决定了启动目录。将c.NotebookApp....
2018-07-25 17:51:01
3327
转载 windows 的pip下载更换源地址
【国内镜像】中国科学技术大学 : https://pypi.mirrors.ustc.edu.cn/simple 清华：https://pypi.tuna.tsinghua.edu.cn/simple 豆瓣：http://pypi.douban.com/simple/ 华中理工大学 : http://pypi.hustunique.com/simple 山东理工大学 : http://...
2018-07-21 17:48:27
2422
转载 python对时间的操作
Python日期的加减等操作1. 日期输出格式化所有日期、时间的api都在datetime模块内。1. datetime => stringnow = datetime.datetime.now()now.strftime('%Y-%m-%d %H:%M:%S')#输出2012-03-05 16:26:23.870105strftime是datetime类的实例方法。2. string ...
2018-03-30 09:26:22
669
原创 同样局域网下的主机互相访问某主机下的虚拟机
第一步：配置如下第二步：配置点击“编辑”->“虚拟网络编辑器”第三步：按顺序点击进入第四步：配置如下：第五部：要不关闭防火墙（不建议），要不修改入站策略：第六步：按顺序点击第七步：点击端口 输入端口号 保存即可。测试：主机ip:10.21.20.26 虚拟机ip:192.168.71.128 局域网内主机ip:10.21.20.66成功显示！...
2018-03-19 12:39:55
1044
原创 intellij IDE Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
出现该原因是因为内存不够用了，所以需要 修改java vm 的内存；打开intellij IDE 的 Run 选项2.然后再选择edit configuration 进入到vm options
2017-12-26 16:43:26
2021
原创 关于安装scrapy-redis分布式常见问题
直接运行其实免Python 安装 使用命令pip install ***sudo pip install scrapysudo pip install scrapy-redissudo apt-get install redis-serversudo vi /etc/redis/redis.conf 配置文件下的bind 127.0.0.1,
2017-11-29 22:48:09
914
原创 Exception in thread "main" java.lang.SecurityException问题解决方法
提交运行spark程序，出现如下 错误：：hadoop@master:/usr/local/hadoop/spark/spark-data$ spark-submit --master spark:192.168.71.128:7077 --class PageRank project.jar Exception in thread "main" java.lang
2017-10-24 22:38:39
3571
原创 Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'.问题
使用intelig 运行spark程序出现Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'. Could not access term hadoop in package org.apache, because it (or its dependencies) a
2017-10-24 22:23:22
1425
原创 Ubuntu突然连接不上网
好早之前安装的Ubuntu，运行过大量程序，有一天突然连接不上网络，之前的网络配置还在那里。 去本地电脑找到服务，发现原来是vmware Nat service 被关掉了，无语，浪费我好多时间！！！！ （所以写个备忘录） --正确设置vmware的共享文件夹后 在/mnt目录下找不到共享文件（缺少vmware tool）...
2017-10-24 17:12:27
3534
原创 linux分布式scrapy爬虫之安装scrapy-redis
安装完redis后，进入到redis目录下输入redis-cli 会有提示安装 sudo apt-get install redis-tools再输入：redis-server /etc/redis.conf 会有提示安装：sudo apt-get install redis-server测试：输入：hadoop@slave1:~/.local/li
2017-10-23 16:24:36
1492
原创 Ubuntu下搭建spark集群开发环境
之前在windows下搭建了一个spark的开发环境，但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便，于是在Ubuntu下面搭建一下spark开发环境，记录以做备忘之用。1 .首先去spark官网下载相关软件，我这里用的是spark2.1.0版本http://spark.apache.org/downloads.html，对应的hadoop版本是2.7.
2017-10-23 12:10:24
1923
原创 hadoop-2.7.4完全分布式集群部署 外加测试例子mapreduce
更改系统时区（将时间同步更改为北京时间）xiaolei@hadoop1:~$ dateWed Oct 26 02:42:08 PDT 2017xiaolei@hadoop1:~$ sudo tzselect根据提示选择Asia China Beijing Time yes最后将Asia/Shanghai shell scripts 复制到/etc/localtimexiaolei@h...
2017-09-01 13:20:04
755
原创 securecrt 上传文件出现 *** was skipped 问题
当上使用securecrt上传文件时，出现** was skipped 就是没有上传成功，因为权限不够。解决办法：前面加 sudo，就可以了，即：sudo rz //注意只要不是root的用户，一般的用户执行命令钱通常需要加 "sudo"
2017-08-29 17:19:36
6207
原创 Ubuntu 17.04更换源
更换Ubuntu 有两种方法，一种是直接在命令行更换，还有一种是在Ubuntu 界面中更换。第一种命令行更换：输入：sudo /etc/apt/sources.list /etc/apt/sources.list.bak //备份原来的源阿里云的源：替换为阿里云的源：
2017-08-29 16:25:13
8687
原创 使用lrzsz工具和 bec-cli工具在百度云下载数据
BCE-CLI-0.10.3工具安装：安装该工具，前提是必须已经安装Python（安装过程请参考，之前的“Django安装与连接数据库”文件）。BCE-CLI 工具下载链接：https://cloud.baidu.com/doc/Downloadcenter/CLI.html （选择Linux版本）。将下载好的bce-cli 工具上传到服务器。
2017-08-18 15:46:48
610
原创 elk测试 例子
过程：在logstash命令行输入，将内容发个elasticsearch，可以看到elk有个自带的logstash 的index pattern，直接使用这个，在kibana中创建，然后再在kibana中可视化出来。[注：elasticsearch必须先启动，之后才启动logstash和kibana]1、 首先在logstash新建一个文件夹config，将写好的write_t
2017-08-18 15:43:05
944
原创 使用log4j(和spring boot logback很相似)向logstash发送数据
Log4j 主要由三部分组成：loggers：负责采集日志信息。appenders：负责将日志信息发布到不同地方。layouts：负责以各种风格格式化日志信息。首先编写一个java程序： 使用log4j(和spring boot logback很相似)向logstash发送数据 > image2017-7-27_17-54-38.png" alt="" style="mar
2017-08-18 15:10:32
1366
原创 安装Python_Django
安装jdk:mkdir /usr/local/java --新建文件夹 2. cp jdk-7u75-linux-x64.tar.gz /usr/local/java --复制文件夹到新建目录-------------------------------------------------------------------------
2017-08-18 14:59:23
384
原创 ELK-5.4.1和x-pack权限控制 安装指导
安装jdk下载jdk-1.8，下载后解压到/usr/local/java文件夹下配置环境变量，在/etc/profile，写入如下：输入完成后 source /etc/profile使得修改文件生效。(如果jdk是rpm，则使用rpm安装，输入：rpm -ivh install jdk1.8.0_131.rpm)JAVA_HOME=/usr/local/ja
2017-08-18 11:31:33
617
mysql-python安装包
2019-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人