- 博客(12)
- 收藏
- 关注
RSS订阅原创 Springboot连接docker里的MySQL
在配置中加入allowPublicKeyRetrieval=true。点击mysql，用户名：root 密码：123456。点击测试链接，可能需要下载驱动，然后会显示测试成功。官网下载压缩包一路下一步， 安装完需要重启电脑。镜像名称：版本号，一般直接拉官方镜像即可，并在配置中做出相应改动即可。检查容器是否启动成功。
2023-09-06 07:27:54
778
1
原创 Hadoop全分布式集群搭建
前言本片文章主要记录如何在搭建一个3台服务器的Hadoop集群。准备工作：三台已经可以互相通信的虚拟机hadoop102， hadoop103， hadoop104aws上配置ec2集群用于Hadoop全分布式搭建感谢尚硅谷的开源教学视频尚硅谷丨大数据Hadoop 3.x（2021全新升级/部署+源码+实战）Java 和 Hadoop安装$sudo apt-get update -y$sudo apt-get upgrade -y$sudo apt-get install openjdk
2021-03-25 05:37:46
397
2
原创 window10下hadoop3.1.3 Shuffle$ShuffleError: error in shuffle in localfetcher#1 原因及解决方法
问题Windows10 下用idea本地调试wordcount产生以下错误：2021-03-05 11:11:41,311 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local1291814541_0001java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
2021-03-06 04:07:17
918
1
原创 idea 远程使用hdfs copyFromLocalFile api上传文件 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
我在台式机上启动了三台虚拟机配置了一个的Hadoop3.1.3集群，并进行文件操作A.namenode机上用hadoop shell 上传LICENSE.txtB.同一台电脑Windows操作系统下用idea通过hdfs copyFromLocalFile API上传HDFSClient.javaC. 以及同一局域网另一台笔记本电脑上用idea上传 txt文件得到以下结果：A和B上传成功并且没有报错，但是B操作只产生了两个文件副本，而我hdfs配置的是3个C操作失败，得到 RemoteExc
2021-03-03 03:30:41
876
1
原创 lintcode python题解及分析：413. Reverse Integer
Description将一个整数中的数字进行颠倒，当颠倒后的整数溢出时，返回 0 (标记为 32 位整数)。Example输入：123输出：321思路注意边界值就好了，0，100，max, min, 正负解class Solution: """ @param n: the integer to be reversed @return: the reverse...
2019-11-15 09:29:08
186
原创 lintcode python题解及分析：384. Longest Substring Without Repeating Characters
Description给定一个字符串，请找出其中无重复字符的最长子字符串。Example输入: “abcabcbb”输出: 3解释: 最长子串是 “abc”.思路使用同相双指针，用一个set记录unique字符，每当有重复字符记录最新的最长长度解class Solution: """ @param s: a string @return: an integ...
2019-11-15 08:54:53
248
原创 lintcode python题解及分析：167. Add Two Numbers
Description你有两个用链表代表的整数，其中每个节点包含一个数字。数字存储按照在原来整数中相反的顺序，使得第一个数字位于链表的开头。写出一个函数将两个整数相加，用链表形式返回和。样例 1:输入: 7->1->6->null, 5->9->2->null输出: 2->1->9->null 样例解释: 617 + 295 = 91...
2019-11-15 07:48:16
259
原创 python学习笔记之导入数据
概述把文件导入到python的方法有很多种假设我们知道文件的地址（本地路径或者url），如果是flat/non-flat file先将文件存到本地，然后用pd读取pd.read_csv()可以直接读url通过HTTP请求来urllib.request包requests包用bs4包的BeautifulSoup来parse html先将文件存到本地，然后用pd读取u...
2019-11-15 03:00:12
297
原创 lintcode python题解及分析：175 Invert Binary Tree
Description翻转一棵二叉树。左右子树交换。思考简单的数的遍历解：使用两层的嵌套循环，时间复杂度： O(n) ，遍历完树中全部节点空间复杂度： O(1) def invertBinaryTree(self, root): if root is None: return self.invertBinaryTree(root.left) ...
2019-10-18 10:19:16
212
原创 lintcode python题解及分析：56 Two Sum
Description给一个整数数组，找到两个数使得他们的和等于一个给定的数 target。你需要实现的函数twoSum需要返回这两个数的下标, 并且第一个下标小于第二个下标。注意这里下标的范围是 0 到 n-1。解1：使用两层的嵌套循环，时间复杂度： O(n^2)空间复杂度： O(1) def twoSum(self, numbers, target): fo...
2019-10-18 09:47:36
206
原创 技嘉主板开启AMD-V
本人是DS研一学生，未来计划记录下来学习时遇到的问题以及解决方法，也让遇到相同问题的小伙伴不用费太多时间，如果我的解决方法过于繁琐或者根本不对也欢迎大佬指正：）上hadoop课时老师提供的虚拟机版本过于老旧 就觉得自己安装一个。下载完vmware和Ubuntu后发现我的电脑amd-v没有turn on。 然而因为我的台式机是去年自己组装，BIOS界面和网上的一些教程不太一样，做了一系列resea...
2019-10-05 02:29:08
13044
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人