qq_41258650的博客

原创 【RBF SBN READ】hadoop社区基于RBF的SBN READ请求流转

RBF SBN READ

原创 【SBN READ】GlobalStateIdContext.receiveRequestState方法解释

分别从namenode中获取最新的stateid，从header中获取客户端携带的stateid，如果客户端的stateid大于 服务端的id，且服务端的状态为active，则直接返回值，且返回值是服务端的id，此时header中携带的id是最新的，active中能满足其查询需求。该常量定义了典型NameNode每秒预计能执行的日志事务数量，用于估算客户端RPC请求在调用队列中等待的时间，直到Observer同步其状态ID。在该方法返回正确的stateid之前会做条件判断，主要有三个。

原创 【hadoop源码研究-编译】MacBook pro编译hadoop3.4.0版本的源码

使用mac电脑编译hadoop3.4.0版本的源码

原创 maven编译【-Dmaven.test.skip=true和-DskipTests=true的区别】

我在执行maven编译时，遇到下面情况：1、当执行命令为下面：发现还是会编译测试模块的代码，如下图：2、而变成下面命令时，便不会编译测试模块的代码了。

原创 Java【springBoot和springCould引入外部jar包】

在项目的研发过程中，我们经常需要导入外部系统提供的jar包，并且这种jar包并没有上传到开源的maven仓库，属于内部环境的包，那么应该如何添加呢？

原创 【报错-大数据技术-Hbase & Ranger】hbase创建、删除（表、命名空间）无权限问题，但是向表put、get、scan数据报错

从该问题可以发现Hmaster和Region Server不同的职责。

原创 【报错-大数据技术-Yarn】此 API 仅支持从 mutable-conf 调度程序检索调度程序配置，调度程序之下的 CapacityScheduler 不是 MutableConfSchedule

但是默认值为file不支持api，仅支持通过文件检索和更改配置。在yarn-site.xml添加下面两个配置，然后重启rm。直接访问yarn的获取队列信息的rest。可以看到api使用的前提 是。

原创 【无标题】

【代码】【无标题】

原创 联邦（rbf）挂载单ns和多ns目录rpc对比测试

这样，假设客户端访问请求量为n，对于挂载单ns的目录只有一个namenode，请求量为n；对于挂载两个ns的目录有两个namenode，请求量为2n。从此角度看，多ns挂载方式在利用多个集群的空间时，还会导致一定的rpc增高，并不会rpc分流。同样数据规模的请求压力作用于挂载单ns的目录、挂载多ns的目录，如下图：左单ns 右双ns。猜测，router转发请求会对该挂载点下的所有相关的namenode都发送请求。所以看着图中的挂载两个ns的目录比挂载一个ns的目录rpc处理时间要大。

原创 linux 每秒实现定时任务

实现每秒统计一下机器的内存使用情况新建abc1.sh[unicom@nn26 ~]$ cat abc1.sh #!/bin/bashstep=1 #间隔的秒数，不能大于60for ((i=0;i<60;i=(i+step)));do date >> "/home/unicom/m每十秒内存情况统计" free -h >> "/home/unicom/m每十秒内存情况统计" echo "\n" >> "/home/

原创 shell-便携式for循环

for ip in sed -n '1,1080'p ip; doecho -e “\e[1;31m${ip}\e[0m”ssh ${ip} 2>/dev/null “”done

原创 hbase的javaAPI操作

连接配置导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope>

原创 HDFS配额说明

字段 说明QUOTA 目录数+文件数的限制（如果没有配额，则显示为none，空间配额同理）REM_QUOTA 可用的目录数+文件数（剩余能创建的目录和文件数量，如果没有配额，则显示为inf）SPACE_QUOTA 空间配额REM_SPACE_QUOTA 剩余空间配额DIR_COUNT 目录数FILE_COUNT 文件数CONTENT_SIZE 当前文件大小（逻辑空间大小，不计副本因素）PATHNAME HDFS路径#查看HDFS目录配额 sudo -u hdfs hadoop fs -

原创 resource_management.core.exceptions.ExecutionFailed: Execution of ‘hdfs --config /usr/hdp/3.1.5.0-1

问题在卸载amabri3.1.4.0后重装amabri3.1.5.0，出现如下报错resource_management.core.exceptions.ExecutionFailed: Execution of 'hdfs --config /usr/hdp/3.1.5.0-152/hadoop/conf namenode -format -nonInteractive' returned 1. ERROR: Cannot execute /usr/hdp/3.1.4.0-315/hadoop//

原创 端口占用问题：Address already in use

端口占用问题问题ERROR applicationhistoryservice.ApplicationHistoryServer (ApplicationHistoryServer.java:launchAppHistoryServer(180)) - Error starting ApplicationHistoryServerorg.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem

原创 Error: java.io.IOException: java.lang.IllegalArgumentException: Bucket Cache should be minimum 1 MB

问题Error: java.io.IOException: java.lang.IllegalArgumentException: Bucket Cache should be minimum 1 MB in size.Configure 'hbase.bucketcache.size'解决把hbase.bucketcache.ioengine的值设为offheap，即关闭hbase.bucketcache

原创 不小心把home目录删了怎么办

问题失误把ambari的/home给删了解决一个用户解决：mkdir -p /home/aqfwchmod 700 /home/aqfwcp /etc/skel/.* /home/aqfwchown -R aqfw:aqfw /home/aqfw多个用户解决：mkdir -p /home/aqfwmkdir -p /home/aiuapmkdir -p /home/aiuap_jcmkdir -p /home/imonitormkdir -p /home/prommkdir -

原创 如何使网页视频倍速100

打开浏览器，f12，控制台，输入以下代码document.querySelector('video').playbackRate = 100

原创 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

mysql创建用户时报错，密码不符合当前政策要求mysql> CREATE USER 'ranger1'@'%'IDENTIFIED BY 'asjbdbjabjvaejbn';ERROR 1819 (HY000): Your password does not satisfy the current policy requirements解决办法mysql> set global validate_password_policy=0;Query OK, 0 rows affecte

原创 配置maven的setting.xnk文件

配置maven的setting.xnk文件1、<localRepository>C:/软件/maven/apache-maven-3.8.2/repository2、在中配置阿里云镜像<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/group

原创 IDEA快捷键

ctrl+shift +左右箭头可以跳过一个单词，而shift+左右箭头只能跳过一个字母，ctrl+左右箭头可以左选右选择一个单词。

原创 搭建hbase集群

搭建hbasehbase的部署依赖zookeeper、hdfs上传hbase安装包hbase-2.1.0.tar.gz修改HBase配置文件hbase-env.shcd /export/software/hbase/confvim hbase-env.sh# 第28行添加如下信息export JAVA_HOME=/export/software/jdk/export HBASE_MANAGES_ZK=falsehbase-site.xml<configuration&

原创 搭建zookeeper集群

学习框架的三步走框架是干什么的框架怎么用框架的原理是什么搭建zookeeper集群一般选择2n+1，奇数上传zookeeper(所有节点)apache-zookeeper-3.7.0-bin.tar.gz确保安装jdk 1.8(所有节点)如果有系统自带的jdk，卸载原有jdk[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RbUXj5f4-1630896447634)(C:\Users\18201\AppData\Roaming\Typora\typora-

原创 python中int()方法不能转换String类型的小数,可以转换String类型的整数，或者用float()去转换

python中int()方法不能转换String类型的小数,可以转换String类型的整数，或者用float()去转换a='2.7万+'.strip('+')b=int(a.strip('万'))print(b)Traceback (most recent call last):File "E:/TSSOJY/Big Data Comprehensive Practice/idea_workspace/python_work/scrapy code/a/scrapy01/scrapy01/spi

原创 为方便二战选学校，我爬取了研招网的各省市的学校信息

结果如图附代码import jsonimport requestsurl = 'https://yz.chsi.com.cn/sytj/stu/getqezsdws.action?code={}'header = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"

原创 使用python爬取研招网调剂信息

一志愿考研失败了，找调剂太麻烦了，直接爬取研招网的调剂信息保存到数据库。# -*- coding: utf-8 -*-import requestsimport jsonimport pymysqlcount = 0url = 'https://yz.chsi.com.cn/sytj/stu/sytjqexxcx.action'headers = { 'Accept': '*/*', 'Content-Type': 'application/x-www-form-urle

原创 2015年复试-----C语言编程题

1、输入弧度（正数）求正弦值、余弦值。当给定弧度小于2PI时直接使用sin(x)，cos(x)计算；当给定弧度大于2PI时，转换到0–2*PI范围内求值。#include<stdio.h>#include<math.h>int main(){ double x; double PI=3.1415926; scanf("%lf",&x); if(x<2*PI) { printf("正弦值：%lf,余弦值：%lf",sin(x),cos(x)); }

原创 考研2018复试——C语言编程题

1、一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？方法一：     分析: 土办法，从1到10000遍历，符合两个条件的即为所求。#include <stdio.h>#include <math.h> int main(){ int i,x,y; for(i=1;i<10000;i++) { x=sqrt(i+100); y=sqrt(i+268); if(

原创 python中没有contains方法，但可以使用in和not in来判断某字符串是否在另一个字符串中。

python中没有contains方法，但可以使用in和not in来判断某字符串是否在另一个字符串中。示例代码item={}item['毛重']='5.00kg'kg_g = item['毛重']if 'kg' in kg_g: remove_kg = kg_g.strip('kg') convert_g = int(float(remove_kg)) * 1000 毛重 = str(convert_g) print(毛重)elif 'g' in kg_g:

原创 在IDEA中搭建Spark环境

1、配置jdk、scala、spark、maven、hadoop环境变量  1、系统环境变量  2、Path下都取到bin目录2、 修改setting.xml文件    在两个地方添加信息3、安装IDEA并安装scala插件4、创建maven工程，修改maven配置文件，导入自己安装的scala版本5、去 mvnrepository.com网站下载spark和scala版本相对应的依赖包，并添加到maven项目的pom

原创 如何配置java环境

如何配置java环境1、Oracle官网下载并安装jdkjdk-8u271-windows-x64.exe2、配置环境新建系统变量变量名 JAVA_HOME变量值 C:\Program Files\Java\jdk1.8.0_271新建系统变量变量名ClassPath.;%Java_Home%\bin;%Java_Home%\lib\dt.jar;%Java_Home%\lib\tools.jar;在系统变量里面找到Path选择编辑：%Java_Home%\bin;%Java_Hom

原创 你还在死记硬背泰勒公式吗？ FOLLOW ME！ I WILL TELL YOU THE TURTH！

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201116151056465.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjU4NjUw,size_16,color_FFFFFF,t_70#pic_center

原创 hbase shell基本命令

原创 虚拟化原理与应用第一次作业

知识点：一、选择题：1.Intel对虚拟化技术的支持不包括以下哪项技术（D）。A. VT-xB. VT-iC. VT-dD. AMD-V2. 如果一个虚拟机因为错误而崩溃，同一主机上的其他虚拟机不会受到影响，这属于虚拟机的哪个属性？(A)A. 隔离性B. 兼容性C. 独立于硬件D. 统一性3.以下哪些属于虚拟机的优势：（ABCD）（多选题）A.封装性B.隔离性C...

原创 使用scrapy框架爬取百度首页————小实例

spider端# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorimport jsonfrom bs4 import BeautifulSoupfrom scrapy01.items import Scrapy01Itemclass FirstSpider(scrapy...

原创 response.json（）和json.loads(response.content)都可以将统一编码转化为python类型

import requestsimport jsonurl = “https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=android&for_mobile=1&start={0}&count=18&loc_id=108288&_=1571618800490”...

原创 python中requests.post方法使用

import requestsimport jsonurl='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'i=1while(i<100) : data={ 'i':input("{0}请输入翻译的文本：".format(i)) , 'doctyp...

原创 解决现行m8u3格式的视频下载问题

1、F12追踪网络，下载index.m8u3格式的文件以及保存一个ts的链接。2、以记事本的形式打开此文件，全部替换成上面ts的形式，后面的主要数字不要替换。3、全选复制打开迅雷即可。4、然后再用ts合并软件合并就行。5、其实用python也可以实现下载功能，但由于是单线程（自己比较菜），下载速度不如迅雷快。6、附一下python下载多个ts代码：```pythonimport u...

原创 Hadoop统计居民电力使用情况

分析居民电力使用状况现有某地地区家庭用户，2006年12月至2010年11月的电力消耗数据（每分钟抽样统计一次），总共207万条，数据结构如下：date代表日期time代表时间global_active_power代表家庭1分钟总体的平均有效功率（单位：kw）global_reactive_power代表家庭1分钟总体的平均无功功率（单位：kw）voltage 代表1分钟平均电压（单...

原创 HDFS的命令

一、1、在根目录下创建u目录：hdfs dfs -mkdir /u2、查看根目录下的文件：hdfs dfs -ls /3、查看文件：hdfs dfs -cat /kuwo.txthdfs dfs -cat /root/kuwo.txt4、删除一个目录（u目录）：hdfs dfs -rm -r /u5、删除文件：hdfs dfs -rm /a.txt6、将window下的...