- 博客(69)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 解决使用pipenv install，出现错误NoneType object has no attribute version_sort
解决使用pipenv install，出现："AttributeError: ‘NoneType’ object has no attribute ‘version_sort’"错误在进行安装 虚拟环境的时候，出现下面的错误：相必你搜遍了全网可能还是解决不了，下面就让我来解决吧。出现这个问题的原因是在你创虚拟环境的目录下的Pipfile文件里没有指定你本机的python版本。那该如何解决呢？首先打开cmd输入python查看你的python版本然后在打开你的Pipfile文件：在最后面添加两行
2020-06-27 19:23:54
5893
9
原创 Centos Linux上安装hadoop伪分布式详细过程（小白必读）
Centos Linux上安装hadoop为伪布式详细过程（小白必读）一 准备工具（下载地址已附上）二 上传文件到Linux三 配置前的准备工作四 配置核心文件（重点）五 查看及启动六 实例测试一 准备工具（下载地址已附上）本次安装所需要的工具：1.Linux版本：VMware-Workstation Centos6（以下蓝色字体为超链接，直接点击即可跳转）2.hadoop版本：2.7.1hadoop版本：hadoop-2.7.1 64位，Linux版本，文件大小200M左右3.jdk版本：1
2020-05-25 16:42:41
5215
6
原创 小白Centos 虚拟机连接xshell，windows传文件到虚拟机，最全教程！
大家在使用虚拟机的时候可能因为多多少少的原因，在windows上想下载某个软件到虚拟机上，上传某个文件到虚拟机上，或者想配置Linux系统上所需要的文件进行一些复制粘贴，方便操作虚拟机多开用户等，那么我们就可以用文本传输协议——xshell6（博主建议选这个ssh协议）这个强大的软件吧。连接xshell6分两步：一.下载安装免费的xshell6；二.配置虚拟机的网络ip；三.配置虚拟机的网络ip连接到虚拟机；第一步：下载安装免费的xshell61.首先在官网上下载xshell：h
2020-05-22 15:32:38
8201
5
原创 HBase单机？伪分布？集群？安装遇到问题，久久不能解决？？网上的答案也不能解决？
在完全分布式模式下，HBase运行在一个真正的分布式环境中，通过多台物理或虚拟机器组成。HBase作为一个分布式的开源NoSQL数据库，它有三种运行模式，分别是单机模式（Standalone Mode）、伪分布式模式（Pseudo-Distributed Mode）和完全分布式模式（Fully-Distributed Mode）。在单机模式下，HBase运行在单个节点上，所有的HBase组件（包括HMaster和HRegionServer）都在同一个JVM进程中运行。首先，直接是本文重点。
2024-12-22 16:23:07
192
原创 ImportError: No module named createrepo
解决createrepo命令出现：No module named createrepo
2024-06-23 14:13:36
465
原创 教程：Centos6迁移旧虚拟机文件后的网络配置教程，完美解决虚拟机移动后的网络ip变化问题
博主在工作后，想整整之前大学的虚拟机集群，因此特意从之前的旧电脑把虚拟机文件给拷贝了过来，在导入到vm-workstation，顺便能启动虚拟机后，发现之前的静态ip已经跟现在的宿主机网络不一样。想着重新配置，但觉得太麻烦，故想到了修改网卡的mac地址+网卡重配置方法，完美解决网络变化问题，保留了之前的ip、host等映射关系。话不多说，进入教程（博主采用主机名为：slave1的虚拟机举例）教程分为三步，
2024-01-04 21:28:34
1063
原创 （日积月累版）大数据基础知识点1-关系型数据库
关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之芹源间的各种联系均用关系模型来表示。关系模型是由埃德加・科德于1970年首旦液先提出的，并配合“科德十二定律”。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。它使用表格的形式来存储数据。每个表格由行和列组成，每一行代表一个记录，每一列代表一个字段。
2023-09-17 17:38:38
437
原创 微信公众号发布文章接口的调用
大家好，隔了快半年了（原因是因为博主在工作，顾不上了，但是看到每天都有人从我这学到有用的知识，感觉好开心啊啊！！！），终于发文了，激动，话不多说，直接切入正题：博主在工作中遇到需要把公众号的内容弄到小程序上展示，中间的存储媒介是数据库，换句话说，就是需要先调用接口，再把数据存储到数据库里，最后给到软件去使用。本次使用到的maven依赖是： <dependency> <?用来模拟浏览器发送http请求的一个工具?> <group
2022-04-11 23:11:22
6428
1
原创 MySQL如何删除一条完成一样的数据？
博主，今天在对一张表插入数据的时候，不小心按到上一条语句，直接回车，导致出现一摸一样的数据，而且还是没有主键的，这怎么办？再尝试了很多方法后，解决啦！下面咱们故技重施，这个是重复的students表，我们发现id为102的数据重复了看，你怎么既删除第一条又保留第二条数据呢？做法：咱们直接给它后面增加一个自增主键alter table students add pid int(11) primary key auto_increment然后重新select这个表一下诺现在
2021-12-16 11:37:32
1101
原创 在Linux下载安装MySQL最快教学（直接yum命令）
博主今天给大家安利一次在Linux下载安装MySQL最快教学，直接使用yum命令，本次使用的博主一直在用的清华大学镜像网，里面有很多开源组件，学习大数据必备网站！！一、首先进入清华大学镜像网：https://mirrors.tuna.tsinghua.edu.cn/二、进入之后找到MySQL的地址：直接搜：MySQL进去选择yum安装：（centos系列的是yum假如是unbutu的则就是apt进去选择开头的几个，el代表centos版本，后面的6、7、8代表版本，m..
2021-10-05 18:55:49
3158
原创 Hadoop中HDFS重要源码面试基本概述
一、NameNode启动源码解析1、启动9870端口服务2、加载镜像文件和镜像日志3、初始化NN的RPC服务端4、NN启动资源检查5、NN对心跳超时判断6、安全模式二、DataNode启动源码解析：1、初始化DataXceiverServer2、初始化HTTP服务3、初始化DN的RPC服务端4、DN向NN注册5、向NN发送心跳DataNode工作机制DataNode启动流程...
2021-09-17 14:06:43
242
原创 200道大数据面试常考Leetcode算法题--二分查找篇（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02数组篇03数组篇04动态规划篇动态规划进阶(与矩阵相关)动态规划再进阶(序列类动态规划问题)大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--二分查找篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）这篇更新6篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题 （二
2021-09-01 21:21:44
599
2
原创 200道大数据面试常考Leetcode算法题--动态规划再进阶(序列类动态规划问题)篇（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02数组篇03数组篇04动态规划篇动态规划进阶(与矩阵相关)大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--动态规划再进阶(序列类动态规划问题)篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）这篇更新3篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（动态规划再进阶(
2021-08-30 23:41:38
707
原创 SpringBoot框架之SpringBoot+MySQL+Echarts使用案例入门
Tip：本期使用的是SpringBoot框架整合MySQL跟Echarts使用案例，通过本次案例你能学到SpringBoot里面的Echarts如何获取MySQL里面的数据制作简单图形。SpringBoot整合MySQL跟Echarts，相关教程我已发布，务必先有这两个的基础再来学本期教程哈！！链接在这里：SpringBoot整合MySQLSpringBoot整合Echarts话不多说，直接进入正题一、在自己的MySQL数据库里建立表名为Goods的表建表跟插入数据CR
2021-08-30 12:31:14
2850
原创 200道大数据面试常考Leetcode算法题--动态规划进阶(与矩阵相关)篇（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02数组篇03数组篇04动态规划篇大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--动态规划进阶(与矩阵相关)篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）这篇更新4篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（动态规划进阶(与矩阵相关)篇）62-不同路径leet
2021-08-24 00:18:13
1362
原创 SpringBoot框架之SpringBoot+MySQL使用案例入门
Tip:具体代码简单不复杂，最后附上所有数据操作截图！一、添加依赖：在pom.xml文件里添加所需要的JDBC组件和MySQL连接器,以及方便使用JavaBean的get,set方法的lombok依赖（注意：springBoot的mysql-connector-java如果不指定版本。默认是MySQL最高版本8.x，故为了防止不必要的bug出现，一定要看你当前安装的MySQL版本，一定要匹配上）<!--集成mysql数据库--><dependency> &...
2021-08-22 19:08:06
28465
5
原创 SpringBoot框架之SpringBoot+Echarts使用案例入门
为能够正确运行本次案例，希望大家认真看，首次学习务必按照本次教程的包名跟类名一样，防止出现不必要的bug哈！！！一、基础需要：Springboot基础知识javaWeb基础知识 Springboot创建Web基础二、下载echarts 1.在Github下载echarts所需的js文件：https://github.com/apache/echarts/tree/5.1.2 2.如图进入下载好后，进入dis...
2021-08-21 00:21:29
6630
原创 解决:Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this
问题描述：博主在运行springbootWeb的时候出现了：Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.如下：发现输入url不对，在反复确认了文件里的路径写正确了后，发现原来是springboot的运行主类的位置不对：原来是这样：因为在创建springboot的时候设置了包名，但是自己测试的C
2021-08-20 21:01:34
76276
7
原创 200道大数据面试常考Leetcode算法题--动态规划篇（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02数组篇03数组篇04大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--动态规划篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）这篇更新3篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（动态规划篇）53-最大子序和Leetcode原题为：题解为：class
2021-08-18 20:22:49
1201
原创 200道大数据面试常考Leetcode算法题--数组篇04（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02数组篇03大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--数组篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）每篇更新5篇，一共更新数组篇20篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（数组篇）73-矩阵置零Leetcode原题：题解为：class .
2021-08-16 13:40:18
713
原创 200道大数据面试常考Leetcode算法题--数组篇03（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01数组篇02大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--数组篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）每篇更新5篇，一共更新数组篇20篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（数组篇）240- 搜索二维矩阵Leetcode原题：题解为：class Sol.
2021-08-13 18:00:54
632
原创 200道大数据面试常考Leetcode算法题--数组篇02（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20数组篇01大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--数组篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）每篇更新5篇，一共更新数组篇20篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（数组篇）35- 搜索插入位置Leetcode原题：题解为 ：class Solution:
2021-08-10 23:03:48
1191
1
原创 200道大数据面试常考Leetcode算法题--数组篇01（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15往期16-20大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，这期为--数组篇，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）每篇更新5篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题（数组篇）26- 删除有序数组中的重复项Leetcod原题为：题解为：class Solution: def removeDu.
2021-08-04 00:38:46
935
原创 200道大数据面试常考Leetcode算法题16-20（python带代码解析）
往期内容在这里：往期01-05往期06-10往期11-15大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，附带解析，都是从Leetcode官网总结大神们的解法（在这里感谢大神的帮助，我只是个搬运工！）每篇更新5篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题16- 最接近的三数之和Leetcode原题：题解为：class Solution: def threeSumClosest(self, nums: List[
2021-07-29 20:29:58
1197
原创 解决：mysql提示：1286 - Unknown table engine ‘InnoDB‘
博主在使用Mysql可视化工具Navicat时，打开某个表时，打不开，提示：Unknown table engine 'InnoDB'提示！！！！：不要盲目百度上直接搜这个报错信息，先去mysql错误日志里查看到底是由于什么原因，只要知道是由于什么错误的才能根本解决，这样既节省时间又提高效率！！（mysql错误日志路径在你的my.ini文件里）查看错误日志，发现是日志文件尺寸不一致错误。解决：把你的mysql路径的data下的下面两个文件删除，重启mysql即可！！（注意删除
2021-07-28 22:42:58
1576
1
原创 200道大数据面试常考Leetcode算法题11-15（python带代码解析）
大家好，继续为大家推荐200道大数据面试常考Leetcode算法题，每篇更新5篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题11-盛最多水的容器Leetcode原题为：题解为：class Solution: def maxArea(self, height: List[int]) -> int: # 定义左右指针,都是从左右顶点开始向中间变化 left,right=0,len(height)-1 .
2021-07-27 17:48:08
854
原创 200道大数据面试常考Leetcode算法题06-10（python带代码解析）
大家好，从本次开始，为大家推荐200道大数据面试常考Leetcode算法题，每篇更新5篇，艾瑞巴迪和我一起刷起来！！200道大数据面试常考Leetcode算法题06-Z字形变换Leetcode原题为class Solution: def convert(self, s: str, numRows: int) -> str: n = numRows * 2 - 2 # 判断z字形循环的周期规律为：行数*2减去头尾两个 if numRows .
2021-07-24 22:12:38
1341
10
原创 200道大数据面试常考Leetcode算法题01-05（python带代码解析）
import java.sql.*;import java.sql.SQLException;public class HivetoMySQL { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; private static String driverName_mysql = "com.mysql.jdbc.Driver"; public static void main(Strin..
2021-07-19 18:01:31
2961
2
原创 Hive单机版配置永久本地模式
网上很多在说在hive命令行里直接输入：set hive.exec.mode.local.auto=true;这个配置只适合此命令行hive终端为本地模式，但是重新进就会失效所以在配置单机模式的hive时，在conf下的hive-site.xml里配置如下就会永久变成本地模式<property> <name>hive.exec.mode.local.auto</name> <value>true</value>...
2021-07-03 14:54:32
12755
原创 使用sqoop把Hive导入到mysql，再mysql导入到hbase操作
sqoop把hive导入mysql首先我们的hive表为：在hdfs上的源数据路径如下：这个路径在你安装hive的时候的hive-site.xml的配置里有配置，具体看你配置文件现在mysql端创建我们要导进来的表，这创建语句可以自行百度，没啥难度，这里mysql的表为trips我安装好的sqoop版本是1.4的sqoop语句为：sqoop export --connect jdbc:mysql://master:3306/hive_test --username ro
2021-06-30 15:09:02
1044
原创 解决Hive启动服务器出现：Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.
博主在服务器端启动hive服务器时，发下报错如下：Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)...
2021-06-30 00:30:54
5339
原创 运行MapReduce合并hdfs目录下的小文件到一个大文件
本次博主给大家带来大数据环境下经常遇到的MapReduce合并hdfs小文件到大文件首先看小文件如下：我们需要把这所有小文件的内容都合并到一个大的文件里面亲，只要直接修改输入路径输出路径指定到某个文件下即可直接上代码：import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;imp
2021-06-21 22:32:01
840
原创 解决：AttributeError: module ‘tensorflow‘ has no attribute ‘placeholder‘
博主发现的好料，来给你们通行证：https://blog.youkuaiyun.com/qq_39777550/article/details/104224296
2021-06-09 20:03:30
620
原创 Zookeeper集群的一键启动脚本（巨简单）
在启动zookeeper是否感到烦恼？博主为大家带来了zookeeper一键启动脚本下面所有.sh文件必须放在/bin目录下，用chmod 777 xx.sh为增加权限，让文件可以执行启动zookeeper:zkServer.sh start脚本名为：start-zkall.sh#!/bin/shfor host in hadoop01 hadoop02 hadoop03doecho "--------------------------------------------
2021-04-24 20:44:06
2230
原创 解决：启动sqoop help出现找不到: Could not find or load main class org.apache.sqoop.Sqoop
问题：安装sqoop后，启动sqoop help时出现如下：Error: Could not find or load main class org.apache.sqoop.Sqoop解决：版本问题，博主下载的sqoop版本为sqoop-1.4.7，该版本不能通用你节点，应该使用sqoop后面带hadoop信息的，如：删除当前sqoop版本,换成：sqoop-1.4.7.bin__hadoop-2.6.0重新安装，输入命令sqoop help，成功解决：...
2021-04-19 20:53:59
4546
1
原创 IDEA创建Servlet程序（直接用注解@WebServle）
IDEA如何创建Servlet程序，我采用的是直接用注解@WebServlet来创建Servlet程序，可以分为下面3个步骤首先如果你想创建一个Servlet，那么你写的某个类必须实现Servlet类的接口，如下必须重写doGet方法（也可以加个重写doPost方法的步骤，里面调用doGet方法即可）因为Servlet的Servlet根据客户端请求生成响应内容并将其传给服务器，所以要设置响应的页面类型为“text/html”假如响应的内容有中文，则设置字符为“UTF-8”模式，然后在创建写入缓冲
2021-04-14 22:03:06
8451
2
原创 python实现apriori算法，逐步逐步解析原理，一看就会
运行结果（看着代码样例的数据集来放你的数据，然后直接运行即可）：代码附上，代码有注释哦！# -*- coding: utf-8 -*-# @Time : 2021/4/7 22:09# @Author : 海龟# @Site : # @File : Aprior.py# @Software: PyCharm# 最小支持度min_sup = 3# 最小置信度min_conf = 0.8def apriori(): # 1.读入数据 data_set
2021-04-13 21:03:26
4929
原创 RDD转换为DataFrame的两种方式详解
*Spark支持两种方法将存在的RDD转换为DataFrame(SchemaRDD)。1.使用反射来推断包含特定对象类型的RDD的模式(schema)在你写spark程序的同时，当你已经知道了模式，这种基于反射的 方法可以使代码更简洁并且程序工作得更好.Spark SQL的Scala接口支持将包含样本类的RDD自动转换SchemaRDD。这个样本类定义了表的模式。给样本类的参数名字通过反射来读取，然后作为列的名字。样本类可以嵌套或者包含复杂的类型如序列或者数组。这个RDD可以隐式转化为一个Sch
2021-04-13 17:31:44
8902
原创 解决：IDEA Servlet 打开页面404（浏览器url问题详解）
问题：Servlet运行时，打开页面输入URL显示404解决：先看你web.xml文件的url为多少：我这里为：/url那么访问页面的url就是http://localhost:8080/url，什么都不要加，直接在http://localhost:8080后面加上/url即可，解决方法有2个：第一个是看你tomcat的url根路径是否为空：假如为空，那么url跟上面一样，都为http://localhost:8080/url，假如不为空有个路径（如图）：/root，那么
2021-04-13 00:36:54
9868
1
window下的hadoop-2.8.1版本的hadoop.dll跟winutils.exe文件
2020-10-02
window下的hadoop-2.7.1版本的hadoop.dll跟winutils.exe文件
2020-09-29
Centos64位Linux版本的eclipse
2020-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人