- 博客(14)
- 收藏
- 关注
RSS订阅原创 hadoop分布式框架--佘响平2.4
如何理解MapperLongWritable,Text,Text,IntWritable和ReducerText,IntWritable,Text,IntWritable案例：WorkCount<key,value>key：文件中的行的偏移量value：行中的数据Mapperimportjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;import
2022-05-09 09:18:00
254
原创 爬虫佘响平2.4
使用pandas：import pandas as pdperson = { "name":['Google','runoob','Rootroot','Taotao'], "age":[50,40,40,12345]}df=pd.DataFrame(person)print(df)for x in df.index: if df.loc[x,'age'] > 100: df.loc[x,'age'] = 30print(df)impo
2022-05-09 08:42:52
137
原创 hadoop分布式框架--佘响平2.3
ssh服务（重点）ssh（secureshell，安全外壳协议），该协议有2个常用的作用：远程连接协议、远程文件传输协议。协议使用端口号：默认是22可以是被修改的，如果需要修改，则需要修改ssh服务的配置文件：#/etc/ssh/ssh_config端口号可以修改，但是得注意2个事项：a.注意范围，端口范围是从0-65535；b.不能使用别的服务已经占用的端口；服务启动/停止/重启#servicesshdstart/stop/restart#/etc/init.d/sshdstart/stop/restar
2022-04-13 09:11:26
115
原创 爬虫基础_——佘响平2.3
博文连接:https://www.cnblogs.com/mxjhaima/p/13775844.htmlpython使用xpath（超详细）使用时先安装lxml包开始使用#和beautifulsoup类似，首先我们需要得到一个文档树把文本转换成一个文档树对象fromlxmlimportetreeif__name__=='__main__':doc='''<div><ul><liclass="item-0"><ahref="link1.html">first
2022-04-13 08:58:51
658
原创 hbase分布式数据库--佘响平2.3
use test;#创建用户表create table if not exists users(id int primary key auto_incrementname varchar(30),age int,status int,score int,acountid int);#插入数据insetr into users(name,age,status,score,acountid)values('张三',19,0,40,1001),('李四',15,1,0,1002);#创建订单表c
2022-04-13 08:42:49
104
原创 hadoop分布式框架--佘响平2.2
hadoop2.2.0伪分布式搭建.txt1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service i
2022-04-03 19:29:59
97
原创 爬虫基础_——佘响平2.2
Scrapy使用使用cmd输入并下载python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstalltwistedpipinstallpywin32pipinstallscrapyScrapy安装以及生成项目scrapy startproject 项目名 scrapy genspider 爬虫名 域名 scrapy crawl 爬虫名我使用的是widows版本，下面演...
2022-04-03 19:20:37
628
原创 hbase分布式数据库--佘响平2.2
触发器的应用CREATE DATABASE IF NOT EXISTS TEXT DEFAULT CHARSET utf8;USE TEXT;CREATE TABLE IF NOT EXISTS student(username VARCHAR(50),PASSWORD VARCHAR(50),stuid INT PRIMARY KEY AUTO_INCREMENT,birthday DATE);SELECT * FROM student;INSERT INTO student(..
2022-04-03 19:05:36
1697
原创 hbase分布式数据库--佘响平2.1
CREATE DATABASE IF NOT EXISTS xxl_ca1 DEFAULT CHARSET utf8;USE xxl_ca1;#删掉表 DROPDROP TABLE emp;CREATE TABLE IF NOT EXISTS emp(emp_id INT PRIMARY KEY AUTO_INCREMENT,emp_name VARCHAR(20),salary INT,manager_id INT);SELECT * FROM emp;#直接索引CREATE I.
2022-03-20 18:53:34
130
原创 hadoop分布式数据库--佘响平2.1
hadoop是什么？海量数据的存储（HDFS）海量数据的分析（MapReduce）资源管理调度（YARN）hadoop核心HDFS: Hadoop Distributed File System 分布式文件系统YARN: Yet Another Resource Negotiator 资源管理调度系统HDFS的架构主从结构主节点，只有一个: namenode从节点，有很多个: datanod...
2022-03-20 18:34:05
2007
原创 hadoop分布式框架--佘响平
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集
2022-03-14 10:50:08
275
原创 hbase分布式数据库--佘响平
#建库CREATE DATABASE IF NOT EXISTS a DEFAULT CHARSET UTF8;USE a;CREATE TABLE IF NOT EXISTS b(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(50) NOT NULL,url VARCHAR(50) NOT NULL,alexs INT NOT NULL COMMENT "网站排名",country VARCHAR(20) NOT NULL);INSERT.
2022-03-14 10:29:00
2777
原创 爬虫基础_——佘响平
目录 1.Cookie：的使用 2.Opener：的用法 3.cookielib： 模块的作用 4..1获取 Cookie 保存到变量4.2:保存 Cookie 到文件...
2022-03-13 20:15:43
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人