Python1One的博客

hdfsvi core.site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property> <name>

概述分布式文件系统适合：一次写入，多次读出，且不支持修改文件块大小128MHDFS的shell操作（重点）基本语法hadoop fs 具体命令或者hdfs dfs 具体命名命令大全Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] # 追加 [-cat [-ignoreCrc] <src> ...] # 查看 [-checksum <src&gt

作用自动化构建工具使用安装核心程序检查电脑的Java环境变量echo %JAVA_HOME%环境变量配置JAVA_HOME = G:\Java\jdk1.8CLASSPATH = ,;G:\Java\jdk1.8\lib\dt.jar;G:\Java\jdk1.8\lib\tools.jar Path新增 %JAVA_HOME%\bin安装maven官网下载apache-maven-3.6.3 解压放到一个地方不用动，相当于安装好配置maven环境变量// 新建M2_HO

Pandas三种数据结构系列（Series）----一维ndarray 特点：带有标签可以用标签最为索引，大小不能变，内部数据可变 属性：与Numpy类似，多了一个轴标签axis.lables数据帧（DataFrame）----二维ndarray 特点：带标签，可以同时进行列标签索引，尺度可变，数据可变面板（Panel） 特点：具有异构数据的三维数据结构，图像表示很难...

简介是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。目标是储存并处理大型的数据。有一下特点容量大：可以存储成千上万的行和列组成的数据面向列：HBase是面向列的存储和权限控制。列存储，其数据在表中是按照每列存储的，根据数据动态怎能更加列，并且可以单独对列进行各种操作。多版本：HBase中表的每一个列的数据存储都有多个版本Version。一般的每一列队形一条数据，但是有的数据会对应多...

连接过程public class Test1 { static String url = "jdbc:mysql://localhost:3306/day17"; static String user = "root"; static String password = "1123"; public static void main(String[] args) throws SQLException { //1. 获取driver接口 Dr

hadoop2.0的改进与提升组件Hadoop1.0局限和不足Hadoop2.0的改进HDFSNameNode存在单点故障风险HDFS引入了高可用机制MapReduceJobTracker存在单点故障风险，且内存扩展受限引入了一个资源管理调度框架YARNYarn资源管理框架Yarn体系结构YARN（Yet Another Resource Negotiator，另一种资源协调者）是一个通用的资源管理系统和调度平台，它的基本设计思想是将MRv1（Hadoop1.

前提四台机器全部安装jdk同步时钟[root@CentOS01 ~]# dateThu Dec 12 04:26:56 CST 2019[root@CentOS01 ~]# date -s "2019-12-30 9:30:59" #设置每个虚拟机原因：当时钟不同步时 后续四台机器同步工作咴ping超时 误差在3秒内可以技巧：在VMware中-查看-撰写-撰...

为四台机器重新设置IP地址vi /etc/sysconfig/network-script/ifcfg-eth0将IPADDR修改注意5台机器不能重复service network restart重启网卡 出现4个ok成功ping一下百度修改主机名vi /etc/sysconfig/network修改成不同的名称重启！重启！重启！做名称映射powvi /etc/h...

初识简介Zookeeper是一个分布式协调服务的开源框架，它是由Google的Chubby开源实现。Zookeeper主要用来解决分布式集群中应用系统的一致性问题和单点故障问题，例如如何避免同时操作同一数据造成脏读的一致性问题等。特性Zookeeper具有全局数据一致性、可靠性、顺序性、原子性以及实时性，可以说Zookeeper的其他特性都是为满足Zookeeper全局数据一致性这一特性...

简介介绍：Sqoop是Apache的一款开源工具，Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入（import）到Hadoop分布式文件系统中，或者将Hadoop中的数据转换导出（export）到关系数据库管理系统。版本 Sqoop1是1.4.x。Sqoop是1.99.x。Sqoop1用于服务管理进行简单的数据迁移...

会话技术概念会话：

基础什么是VueVue是一个前端框架，React是最流行的前端框架构建用户界面，只关注视图层前端工作：主要负责MVC的V层；和界面打交道，来制作前端页面效果作用：能够减少不必要的DOM操作；提高渲染效率框架和库的区别框架：是一套完整的解决方案；对项目的侵入性较大，如果更换框架，需要重新架构整个项目库：提供某一个小功能，对项目侵入性小，可以很容易切换其他库小小实例导入v...

HTTP协议请求消息：客户端给服务端的数据数据格式 1. 请求行 2. 请求头 3. 请求空号 4. 请求体响应消息：服务端发给客户端的数据数据格式 1. 响应行 2. 响应头 3. 响应空号 4. 响应体HTTP/1.1 200 OKContent-Type: text/html;charset=utf-8Content-Leng...

使用sklearn转换器处理数据加载datasets模块中的数据sklearn库的datasets模块集成了部分数据分析的经典数据集，可以使用这些数据集进行数据预处理，建模等操作，熟悉sklearn的数据处理流程和建模流程。datasets模块常用数据集的加载函数与解释如下表所示。使用sklearn进行数据预处理会用到sklearn提供的统一接口——转换器（Transformer）。加...

概要MapReduce是hadoop的核心组件之一，用于大数据并行处理的计算模型、框架和平台，主要解决海量数据的计算。借鉴了面向对象编程思想MapReduce概述核心思想分而治之，将大问题分解为小问题，解决小问题。使用MapReduce操作海量数据是，每个MapReduce程序被初始化为一个工作任务，每个工作任务分为Map和Reduce两个阶段： * Map：负责任务分解，分解为若干...

安装scrapypip install scrapy可以在终端用scrapy查寻命令bench:性能测试fetch:读取源代码genspider:生成爬虫文件runspider:运行爬虫文件settings:爬虫设置shell:终端操作startproject:创建项目version:查看版本创建项目在项目文件夹中 scrapy startproject 项目名生成文...

数据仓库概念起源于Facebook，使用SQL语言。数据仓库面向主题的，集成的，随时间变化的，信息相对稳定的数据集合。面向主题： 操作性数据库的数据注释是面向事务处理任务。主题指用户使用数据仓库进行决策时关心的重点方面。如商品的推荐。随时间变化 数据仓库是不同时间的数据集合，数据仓库中的数据保存时限要能满足进行决策分析的需要（如5到10年），而数据仓库中的数据都要标明数...

HDFS的介绍HDFS演变源于谷歌GFS论文DataNode（服务器A）存储文件的分割信息，文件和目录信息。DataNode（服务器B。C。D）存储分布式文件，并且备份在不同的服务器上。HDFS基本概念概念是一个易于扩展分布式文件存储系统，运行在成百上千台低成本的机器上。用于海量文件信息进行存储和管理。解决TB，PB的存储问题...

包和NPM包包的概念包是在模块基础上更深一步的抽象包的作用：方便分发和推广基于 CommonJS 规范实现的 应用程序或类库；包和模块的关系在node.js中，可以通过包来对一组具有相互依赖关系的模块进行统一管理，通过包的使用，可以将某个独立的功能封装起来。如图所示，一个包通常包括一组相互依赖的模块，并提供一个出口模块，外部的模块通过出口模块，使用包的功能。包的目录结构...

ServletServlet的体系结构Servlet–接口|继承|GenericServlet – 抽象类|继承|HttpServlet – 抽象类GenericServlet ： 将Servlet接口中做了空实现，只保留servlet()方法作为抽象。后续编写Servlet类时可直接继承GenericServlet ，事项servlet()方法。想用哪个复写哪个。Http...

pyplot基础语法创建画布与创建子图第一部分主要作用是构建出一张空白的画布，并可选是否将画布分为多个部分，方便在一歌图画多个图形。可以省略，后默认的画布上画图。函数名称函数作用plt.figure创建空白画布，可以指定画布大小，像素figure.add_subplot创建并选中子图，指定子图的行数列数与选中图片编号添加画布内容第二部分是画图的主...

合并数据堆叠合并数据concat函数（可横向可纵向）pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True)数据名称说明objs接收多个Series，Da...

读写数据DataFrame的常用操作（链接数据库）转换与处理时间序列数据

简单查询selectselectSELECT [distinct] * | {colum1,colum2,,,} from table_name;colum指定列名，* 代表查询所有 ，distinct 可选，是否踢掉重读数据例student表select * from student;//所有select id,name from student; //查询id和name列...

环境准备安装连接工具pymysql安装 sqlalchemy可能会报错enum不支持什么INT 把enum34卸载即可连接数据库 con = create_engine('数据库产品名+连接工具://用户名:密码@ip:端口号/数据库名?charset=编码格式')如enging = create_engine('mysql+pymysql://root:1123@127....

掌握数组对象ndarray创建数组对象数组属性：ndarray（数组）储存单一数据的多维数组属性说明ndim返回 int。表示数组的维数shape返回 tuple。表示数组的尺寸，对于 n 行 m 列的矩阵，形状为(n,m)size返回 int。表示数组的元素总数，等于数组形状的乘积dtype返回 data-type。描述数组中元素的类型...

python内置函数oct()转化8进制oct((int) x)>>>oct(10)'012'>>> oct(20)'024'>>> oct(15)'017'>>>hex()转为16进制hex((int) x)>>>hex(255)'0xff'>>> hex(-...

简介异常：程序运行时会发生错误而导致程序退出！解决方法：try： 尝试的代码except： 发生异常时执行语句1！（若无异常不执行）except： 发生异常时执行语句2！（若无异常不执行）except： 发生异常时执行语句3！（若无异常不执行）finally: 必须要执行！except和finally可以随意与try搭配异常类异常处理抛出异常自定义异常预定...