- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 利用requests爬取智联相关职位信息
初步代码# -*- encoding: utf-8 -*-from crawl.WebRequest import *from crawl.mysqldb import SQLimport time, json, random, math, requests, logging, hashlib# 格式化输出日志LOG_FORMAT = "%(asctime)s - %(level...
2019-05-06 16:42:05
710
原创 利用Pyspider爬取BOSS相关职位信息
利用Pyspider爬取BOSS职位信息pyspider代码‘’’#!/usr/bin/env python#-- encoding: utf-8 --#Created on 2019-04-23 16:01:48#Project: bossfrom pyspider.libs.base_handler import *from pyspider.libs.WebRequest i...
2019-04-24 16:48:38
271
原创 利用requests爬取拉勾相关职位信息
初步代码# -*- encoding: utf-8 -*-from com.lagou.crawl.WebRequest import *from com.lagou.crawl.mysqldb import SQLimport time, json, random, math, requests, logging# 格式化输出日志LOG_FORMAT = "%(asctime...
2019-04-24 16:48:03
319
原创 CentOS7下将Nexus设置为系统服务
CentOS7下将Nexus设置为系统服务Nexus版本为：3.7.11. 修改nexus脚本修改脚本第14行：INSTALL4J_JAVA_HOME_OVERRIDE=/home/admin123/jdk1.8.0_152 否则，可能会出现以下错误： 2. 配置系统服务设置软连接： sudo ln -s /home/admin123/nexus-3.7.1-02...
2018-02-23 16:14:52
3348
原创 CentOS7上本地源方式安装Ambari-2.5.2.0+HDP-2.6.2.0
CentOS7上安装Ambari2.5.2+HDP-2.6.2.01. 相关环境要求说明本安装过程是在无法访问外网情况下，采用本地源上安装的，在安装过程中可能需要下载相关软件包，因此可以先配置好yum的本地源环境，安装步骤可参考： http://blog.youkuaiyun.com/sunggff/article/details/78930379 集群节点说明： 220.192.10.132
2018-01-26 15:01:52
2715
1
原创 在CentOS7上安装本地yum源
在CentOS7上安装本地yum源将系统映像上传至需要安装yum本地源的服务器上；将镜像文件CentOS-7-x86_64-Everything.iso挂在到相应目录下： 若不存在目录执行：mkdir /mnt/iso mount -o loop CentOS-7-x86_64-Everything.iso /mnt/iso备份原有的yum源配置文件； cd /etc/yum.re
2017-12-29 13:02:22
6683
原创 CentOS7.0下安装通用版MySQL5.7.18
注：如果你以前安装过MySQL，下载安装时可能会遇到问题。先把以前的MySQL安装完全被删除，也把配置文件/etc/my.cnf或者/etc/mysql目录删除。1.下载MySQL包：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.18-linux-glibc2.5-x86_64.tar.gz2.解压MySQL包到目录/usr/
2017-07-06 20:46:29
1718
1
原创 在eclipse将mapreduce程序运行在hadoop集群中
1.将集群配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site,xml拷贝至项目的src目录下2.将本项目打成JAR包：xxx.jar3.在mapreduce程序main方法中添加代码：job.setJar("/xxx.jar")//jar包所在文件路径4.其他套路性代码编写好即可运行。5.运行时所遇错误一不小心忘
2017-06-27 12:55:00
757
原创 azkaban安装与使用
1. 下载azkaban3.25的”source code.tar.gz”: https://github.com/azkaban/azkaban/releases2. 解压缩：azkaban-3.25.0.tar.gz，进入azkaban根目录：cd azkaban-3.25.03. 执行命令：./gradlew installDist 生成相关文件
2017-06-22 13:56:17
1699
原创 hadoop集群搭建问题集锦
1.集群启动后，各DataNode成功启动但是在查询LiveNodes时与实际数量（3个）不符查看日志所示错误：2017-06-06 16:35:08,850 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-749503087-220.192.1
2017-06-06 17:03:35
1440
原创 kettle7.0下实现数据库整体迁移
一、采用软件自带方式1.登录资源库，新建一个job：迁移.kjb，在菜单中找到【复制多表向导】，点击进行相关操作：2.选择源数据库和目标数据库3.选择所需迁移的表
2017-04-17 16:49:40
19073
6
原创 ETL工具kettle基本使用
1.下载kettle：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download说明：kettle 是pentaho收购的一个etl工具,pentaho是一家BI解决方案的商业公司。2.解压文件：pdi-ce-7.0.0.0-25.zip，执行：sp
2017-03-21 15:14:10
10579
1
原创 CentOS7下基于Hadoop2.7.3集群搭建
一、准备工作1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系4.关闭防火墙5.ssh免登陆 6.安装JDK，配置环境变量等7.集群规划：主机名 IP 所需安装工具 运行进程hadoop01 220.192.10.10 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、Quor
2017-03-20 15:31:00
630
原创 CentOS7下配置SSH免密钥登陆
1.在root目录下的.ssh目录2.执行命令：ssh-keygen -t rsa，点击四次回车键输入命令：ls 此时可看见已生成公钥(id_rsa.pub)和私钥(id_rsa)3.输入命令：ssh-copy-id localhost查看新生成一个authorized_keys文件4.
2017-01-12 11:25:50
1387
原创 CentOS7下无法访问50070和8088端口
启动Hadoop成功但是在浏览器输入192.168.10.10:50070却显示无法连接，后来关闭了防火墙就OK了关闭防火墙：systemctl stop firewalld.service开启防火墙：systemctl stop firewalld.service开机禁止启动防火墙：systemctl disable firewalld.service注：Ce
2017-01-06 09:07:17
7219
原创 Hadoop2.7.3伪分布式搭建
1.安装JDK①找到自己的jdk压缩文件的目录，解压：tar -zxvf jdk-8u112-linux-x64.tar.gz -c /usr/java②配置环境变量：输入命令：vim /etc/profile在结尾添加以下内容：刷新资源：source /etc/profile2.安装Hadoop-2.7.3①解压Hadoop到指定文件夹中：tar -zxvf
2017-01-03 20:01:18
467
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人