- 博客(50)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hadoop集群搭建之集群启动
文章目录手动逐个进程启停HDFSYARNshell脚本一键启停HDFS集群YARN集群Hadoop集群WebUI页面HDFS集群Yarn集群手动逐个进程启停HDFShdfs --daemon start namenode|datanode|secondarynamenodehdfs --daemon stop namenode|datanode|secondarynamenodeYARNyarn --daemon start resourcemanager|nodemanageryarn
2021-10-20 21:56:21
736
1
原创 Hadoop集群搭建之集群配置
节点配置允许root远程登录Step 1：登录 node1 节点，修改 root 密码sudo passwd rootsu rootStep 2：修改 ssh 配置文件，允许 root 远程登录vim /etc/ssh/sshd_config#取消PermitRootLogin注释,并将其改为PermitRootLogin yes# 重启SSH服务systemctl restart sshdStep 3：使用 root 账户远程登录进行验证Step 4：按照同样的方式修改
2021-10-18 23:56:50
2003
2
原创 Hadoop集群搭建之环境准备
本文使用虚拟机进行集群的搭建文章目录搭建前准备虚拟机创建服务器安装搭建前准备需要下载 MobaXterm(SSH工具)、Ubuntu Server镜像、VMware Workstation，如下图所示下载链接如下：# MobaXterm 21.4 https://download.mobatek.net/2142021091974654/MobaXterm_Installer_v21.4.zip# Ubuntu Server 21.10https://mirrors.neusoft.ed
2021-10-17 21:56:15
1060
原创 Python操作日志文件
创建一个简单的Loggerimport logginglogging.basicConfig(filename="sample.log", level=logging.INFO) #如果不配置basicConfig,会输出到控制台logging.debug("debug message")logging.info("info message")logging.error("error message")# sample.log文件信息(注意debug信息并未在文件中)# INFO:root
2020-07-23 06:28:44
490
原创 Python读写配置文件
创建配置文件import configparserdef createConfig(path): config=configparser.ConfigParser() config.add_section("Settings") config.set("Settings","font","Consoles") config.set("Settings","font_size","10") config.set("Settings", "font_style",
2020-07-21 00:09:59
194
原创 Python读写CSV文件
读CSV文件import csv# 方式一：使用csv模块的reader函数def csv_reader(file_obj): reader=csv.reader(file_obj) for row in reader: print(" ".join(row)) if __name__ == '__main__': csv_path="TB_data_dictionary_2020-07-17.csv" with open(csv_p
2020-07-20 23:59:20
1053
原创 Python定义函数
定义函数def f_name(): pass位置参数(positional argument)def add(a,b): return a+b# 按照默认位置顺序:a=3,b=4print(add(3,4)) # 7# 不按照默认位置顺序:a=4,b=3print(add(b=3,a=4)) # 7关键字参数(keyword argument)关键字参数的形式为 kwarg=value# 带有默认参数值的函数def parrot(voltage, state='
2020-07-19 21:58:57
1046
原创 Python读写文件
读文件handle=open("test.txt","r")# 方法一data=handle.read()# data=handle.readline() # read just one line# data=handle.readlines()print(data)# 方法二for line in handle: print(line) # 方法三while True: data=handle.read(1024) print(data) if
2020-07-19 11:40:48
569
原创 Python的各种推导式(Comprehensions)
推导式可以让代码更简洁，并且可以增加可读性和执行效率。列表推导(List Comprehensions)[i for i in range(5)] # [0,1,2,3,4][i for i in line if "SOME TERM" in i]x=["1","2","3","4","5"]y=[int(i) for i in x] # [1,2,3,4,5]vec=[[1,2,3],[4,5,6],[7,8,9]][num for elem in vec for num in ele
2020-07-19 10:49:00
315
原创 Python中的else子句
在其它编程语言中、else 子句一般用在 if 结构中，而在Python中，else 子句不仅可以用在 if 结构中，还可以用在 循环结构 和 异常处理结构 中。循环中的elseelse 用在循环结构中时，只有当循环条件正常结束时，else 子句中的代码才会执行。如果在循环结构中发生了 异常 或执行了 break 语句，else 子句中的代码都不会执行。i=0while i<10: if i==5: break i=i+1else: print("n
2020-07-19 05:02:36
2002
原创 Python判断空
Python中 空串:""、空元组:()、空列表:[]、空字典:{}、None 都自动判定为 False对 空串、空元组、空列表、空字典 的判断可以采用如下方式：empty_xxx = ""|()|[]|{}# 方式一if not empty_xxx: pass# 方式二if len(empty_xxx)==0: pass# 方式三if empty_xxx==""|()|[]|{}: pass对 None 的判断可以采用如下方式：some_var=None
2020-07-19 04:31:09
8669
原创 Python内置数据结构：列表(lists)、元组(tuples)、字典(dictionaries)
列表（Lists）列表和其它编程语言中的 数组 相似，但Python中的列表可以存储不同类型的数据# 创建空列表的两种方式empty_list1=[]empty_list2=list()my_list1=[1,2,3]my_list2=["a","b","c"]my_list3=["a",1,"b",2]my_nested_list=[my_list1,my_list2] # [[1,2,3],["a","b","c"]]combo_list=[]one_list=[4,5]co
2020-07-19 03:59:19
221
原创 Python字符串操作
创建字符串创建字符串的四种方式：单引号、双引号、三引号、str方法s_str='Python'd_str="Python"t_str='''Python'''tt_str="""Python"""my_number=123my_string=str(my_number)字符串连接使用 + 号str_one="Hello"str_two="Python"str_three=str_one+str_two字符串方法字符串是一个对象，对象有自己的属性和方法，使用 dir() 可以
2020-07-19 03:33:07
310
原创 CNN网络之AlexNet
ImageNet 是一个大的图片数据集。包含大约 1500万张图片，22000种类别。从2010年起，每年举办的图片分类比赛 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)是 ImageNet 的一个子集，包含大约 120 万张训练集，5 万张验证集，15 万张训练集，共约140万张图片。2010和2011年的比赛，Top-5 ...
2019-10-15 00:02:48
318
原创 如何理解熵、交叉熵、KL散度、JS散度
在机器学习、深度学习中，经常听见熵（entropy）、交叉熵（cross-entropy）、KL散度（ Kullback–Leibler divergence ）、JS散度（ Jensen-Shannon divergence ）这些概念。初次听见这些概念肯定一头雾水，在很多地方都能见到对这些概念 high-level 的解释，但 high-level 的解释并不能对这些概念更深入的理解。比如熵是...
2019-10-14 00:02:04
1629
原创 Ubuntu升级内核版本
Step 1：查看Linux系统架构类型以下任选一种方法即可：Method 1：unameuname -m如果当前 Linux 是 64 位则输出 x86_64，是 32 位则会输出 x86。Method 2：dpkg只能用于Debian/Ubuntu 操作系统dpkg --print-architecture如果当前 Linux 是 64 位则输出 amd64，是 32 位则...
2019-10-13 15:51:17
2307
原创 Windows 和 Linux 目录对应关系
1、C:\Windows VS /rootC:\Windows 目录是 windows 最高权限账户 administrator 所对应的目录/root 目录是 linux 最高权限账户 root 所对应的目录2、C:\Users VS /homeC:\Users 目录是 windows 一般账户所在目录/home 目录是 linux 一般账户所在目录软件的 用户级 配置文件就在该一般...
2019-08-26 22:02:23
2596
原创 Python内存模型
在Python种，一切皆是对象。对象的存储放在堆内存中。1、内存表（memory table）和变量表（variable table）在Python中内存使用内存表来表示。内存表告诉我们数据在堆内存中的地址。我们通常使用变量（数据的引用，即地址）来指向数据。如下图所示：变量 n 指向的内存地址为 2000，内存地址 2000 所对应的值为 42。同理可得 greet 变量的值为 hello...
2019-08-04 11:02:51
2074
原创 Ubuntu中update、upgrade、dist-upgrade、full-upgrade的区别
apt install update：将远程软件库和本地软件库做对比，检查哪些软件可以更新，以及软件包依赖关系，给出一个分析报告。只检查不更新。apt install upgrade：在执行upgrade 之前要先执行update ，根据update的分析报告去下载并更新软件。在以下几种情况，某个待升级的软件包不会被升级。新软件包和系统的某个软件包有冲突新软件包有新的依赖，但系统不满足依赖...
2019-07-26 01:43:02
16357
原创 pip速度慢，配置国内镜像加速
Window打开此电脑(win10)在地址栏输入：%HOMEPATH% ，如下图所示：按回车，会进入用户所在目录，在该目录中新建一个文件夹，名字为 pip ,如下图所示：进入pip目录，并新建一个文件 pip.ini，如下图所示：[global]index-url = https://mirrors.aliyun.com/pypi/simple/[install]trusted...
2019-07-25 23:12:31
12131
原创 OpenCV-Python-1--图片的基本知识
色彩模型（Color Model）色彩模型是一种抽象的数学模型，通过一组数字来描述颜色。当站在不同的角度对颜色建模时就得到不同的数学模型。机器视角RGB（Red、Green、Blue），used with color CRT monitorsYIQ，broadcast TV color systemCMY（Cyan(青色), Magenta(品红), Yellow），color pr...
2019-07-25 21:46:49
660
原创 Kernel、Kernel Method、Kernel Trick
KernelKernel Function 是一个二元函数 $K(v,w) $，即 K：Rn×Rn→RK：R^n × R^n \rightarrow RK：Rn×Rn→R 。这个二元函数用来计算向量 v，wv，wv，w 之间的 dot product(点积) 。其中 v，wv，wv，w 分别为 nnn 维空间中的一个向量。二分类问题为例假设有一个二分类问题，每个样本有两个特征，将所有样本 p...
2019-07-08 22:50:08
967
原创 伪随机数与随机数种子
以下测试环境为linux(CentOS 7.6)计算机产生的随机数是伪随机。C语言中与随机数相关的两个函数为rand() 和 srand() ，所在的头文件为stdlib.h先看一下两个函数的原型：rand() 返回一个随机整数，介于0 和 RAND_MAX之间srand()产生随机数种子在CentOS 7.6中RAND_MAX 的最大值和INT_MAX 一样rand()#inc...
2019-07-08 01:36:00
3718
原创 numpy中axis的通俗理解
先说结论numpy中的axis与shape有关，shape为一个tuple，这个tuple的index即为所在的axis。例如一个ndarray形状为(4,3,2)，则4对应的axis为0，3对应的axis为1，2对应的axis为2。import numpy as npx=np.arange(24).reshape(4,3,2)print(x)运行结果：[[[ 0 1] [ 2...
2019-06-26 03:56:03
824
1
原创 常量指针与指针常量的一点理解
指针即为地址，它的大小与变量类型或语言无关，而是跟系统的寻址能力有关。譬如16位寻址，指针为2个字节；32位寻址，指针为4个字节；64位寻址，指针为8个字节。指针定义时，要有所属的类型，int类型的指针只能指向int类型的变量，double类型的指针只能指向double类型的变量。指针定义的几种方式：int var=10;int* p1=&var;//可以理解为(int*) p1 ...
2019-05-13 16:15:48
166
原创 Python链栈的实现
class Node(object): def __init__(self, data): self.data = data self.next = Noneclass Stack(object): def __init__(self): self.node = Node(None) self.head = se...
2019-01-07 09:21:20
1810
原创 Python栈的实现
class Stack(object): def __init__(self): self.__stack = []def push(self, data): self.__stack.append(data)def is_empty(self): return True if len(self.__stack) == 0 else Falsed...
2019-01-07 08:43:56
973
原创 Scrapy爬虫简介
SpiderSpider是所有爬虫的基类，所有的爬虫必须继承该类或其子类，用来发送请求及解析网页爬虫执行流程1、调用start_requests()方法发送请求，并指定响应的回调函数，默认为parse2、在parse中解析响应，从网页中提取数据3、将提取的数据存入文件或者数据库爬虫的主要属性与方法name：爬虫的名字，必须唯一allowed_domains：可选字段，允许爬取的域...
2019-01-05 17:17:59
597
1
原创 Python单链表实现
class Node(object): def __init__(self, data): self.data = data self.next = Noneclass SingleLinkedList(object): def __init__(self): # 头节点 self.node = Node(None...
2019-01-05 09:00:18
232
1
原创 Scrapy命令行工具
配置文件1、/etc/scrapy.cfg or c:\scrapy\scrapy.cfg (system-wide),2、~/.config/scrapy.cfg ($XDG_CONFIG_HOME) and ~/.scrapy.cfg ($HOME) for global settings(user-wide)3、scrapy.cfg inside a scrapy project’s ...
2018-12-25 21:12:23
392
原创 数据库事务总结
什么叫事务事务指包含多个微小逻辑单元的一组操作， 只要其中有一个逻辑失败了，那么这一组操作就全部以失败告终，不存在一半成功，一半不成功的状况。事务的ACID特性：原子性（Atomicity） : 事务中的逻辑要全部执行，不可分割。（原子是物理中最小单位）一致性（Consistency）： 指事务执行前和执行后， 数据的完整性保持一致隔离性（Isolation）： 指一个事务在执行的过程中...
2018-12-25 10:16:28
229
原创 Scrapy入门程序
要爬取的网站为：http://quotes.toscrape.com/创建一个项目scrapy startproject tutorial会创建一个tutorial目录，里面的内容如下tutorial/ scrapy.cfg # deploy configuration file tutorial/ # project's ...
2018-12-24 15:06:55
205
原创 Windows安装Scrapy
Windows下使用pip install scrapy安装Scrapy的时候，安装过程中会报如下错误：由上图可知，这是在构建twisted的时候报的错，提示需要安装Microsoft Visual C++ 14.0。这是因为在安装twisted的时候需要依赖Microsoft Visual C++ 14.0库。（注：twisted是一个异步的网络框架，Scrapy基于twisted）。...
2018-12-24 15:01:22
188
原创 JSP指令、动作、内置对象总结
JSP三大指令标签&amp;amp;lt;%@ page %&amp;amp;gt;&amp;amp;lt;%@ include file=&amp;quot;&amp;quot; %&amp;amp;gt; #静态包含&amp;amp;lt;%@ taglib prefix=&amp;quot;&amp;quot; uri=&amp;quot
2018-12-24 14:48:34
339
原创 Servlet请求和响应中文乱码解决方式
请求get请求从Tomcat 8.0 开始，默认的URIEncoding从ISO-8859-1变为UTF-8，如下图所示：URIEncoding只影响get方式请求时URI的编码，不影响请求体和响应体的编码。默认请求体和响应体的编码还为iso-8859-1假如从客户端以get方式传来一个username参数。Tomcat Version < 8.0 的处理方式：String u...
2018-12-22 17:19:31
1254
原创 Servlet访问Web资源的几种方式
项目结构如下：在src目录下有个config.properties文件，src目录下的文件最终会被打包进WEB-INF/classes/目录下。在web目录下有个config目录，该目录下也有个config.properties文件。这些文件与目录最终在tomcat中的结构如下：webapps Servlet config config.properties WEB-INF...
2018-12-22 16:42:34
668
原创 Servlet继承体系
Servlet继承体系Servlet的service方法主要用来处理客户端的请求和响应。通常我们使用Servlet主要是继承HttpServlet，并重写其中的doGet和doPost方法。为什么可以这么做，原因如下：HttpServlet继承来的service方法如下：HttpServlet重载的service方法如下：从上面可以看出，在继承下来的service方法中把reque...
2018-12-22 15:52:05
748
原创 Tomcat项目部署三种方式
方式1http://localhost:8080 对应的是webapps/root目录http://localhost:8080/xyz/ 对应的是webapps/xyz目录将项目放在webapps目录下，此时，访问URL如下：http://localhost:8080/projectName/方式2修改conf/server.xml文件。在server.xml文件的Host...
2018-12-19 00:22:30
304
原创 SQL查询关键字执行顺序
一个完整的SQL查询如下：SELECT DISTINCT column, AGG_FUNC(column_or_expression), …FROM mytable JOIN another_table ON mytable.column = another_table.column WHERE constraint_expression GROUP BY ...
2018-12-18 00:33:54
371
原创 图解SQL连接：内连接、左外连接、右外连接、全外连接
下文会用到两张表：客户表和订单表。如下图所示：客户表：订单表：内连接（inner join）满足条件的记录才会出现在结果集中隐式内连接：select first_name, last_name, order_date, order_amountfrom customers, orders where customers.customer_id = orders.custome...
2018-12-17 21:15:28
2910
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人