- 博客(16)
- 收藏
- 关注
RSS订阅原创 Word statistics files not found
Word Statistics File not Found. | Receiving 404 error while dowloading the file. · Issue #28 · cbaziotis/ekphrasis · GitHub
2024-05-14 14:58:33
241
1
原创 学习spark第一天
hadoop迷迷糊糊的结束了，存了很多word笔记，以后需要是不是拿出来看一看。因为没有什么基础，所以很多没看懂。今天开始spark了，fighting。
2023-11-12 11:23:43
95
1
原创 纯小白学习大数据hadoop第35天
MapReduce学了很久。太难了 尤其还要配合敲代码。Yarn状态的查询，hadoop103:8088。HFDS状态的查询，hadoop102:9870。
2023-10-11 20:53:09
85
原创 大数据hadoop学习第 15天
开始上难度了，很多视频反复看了很多遍，涉及到敲代码了，没心思记录了呜呜~没有更新的日子里，都在默默啃视频。最近视频进度92/178。不过还在学习就对了~~
2023-09-21 16:13:19
66
原创 大数据学习第五天——复习笔记
（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本。（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件。（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例。（4）sbin目录：存放启动或停止Hadoop相关服务的脚本。hadoop-3.1.3下。
2023-09-12 15:09:43
102
原创 求救：RuntimeError: CUDA out of memory. Tried to allocate 2.46 GiB (GPU 0； 6.00 GiB total capacity； 3.9
RuntimeError: CUDA out of memory. Tried to allocate 2.46 GiB (GPU 0; 6.00 GiB total capacity; 3.99 GiB already allocated; 39.00 MiB free; 4.17 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoi
2023-09-08 15:30:17
389
原创 求救，基于spert的中文关系提取报错：BrokenPipeError: [Errno 32] Broken pipe ——已解决
检查了num_workers好像没啥问题，默认都是0。求救啊，训练模型的时候报的错。
2023-09-07 20:06:29
230
原创 纯小白学习大数据第二天——hadoop运行模式
上篇小补充，熟悉这几个文件夹的位置：/opt/module/hadoop-3.1.3/opt/module/hadoop-3.1.3/etc/hadoop报错，考虑是路径没配置好而我的jdk和hadoop都验证安装成功了路径似乎也没问题------一些linux命令：分析：1) 准备 3 台客户机(关闭防火墙、静态 IP、主机名称) 2) 安装JDK3) 配置环境变量4) 安装 Hadoop5) 配置环境变量以上都已经在102上搞定! 怎么快速给103 104配置？6) 配置集群7) 单点启动
2023-09-06 17:17:15
477
1
原创 纯小白学习大数据第一天笔记二-hadoop环境搭建
通俗的讲就是在计算机里面虚拟出来的另外一个计算机系统，这个虚拟处理的计算机和真实的计算机几乎一模一样，不同在于虚拟机的硬盘是在一个文件中虚拟处理的，所以可以随意修改虚拟机的设置，不用担心会对计算机造成损坏或者系统奔溃。这篇博客看起来很靠谱，以为解决了，呵呵哒，一开启虚拟机，又重启了o(╥﹏╥)o。——后续再想增加服务器的时候就不用再安操作系统/其他配置了，可以直接“拷贝”通过命令发现Hyper-V没开启，没啥问题，看教程说的是就得取消勾选这个。涉及到Hyper-V 但我发现我没有这个东西，想办法找到。
2023-09-05 22:07:10
86
原创 纯小白大数据学习笔记一
准备课余时间学习大数据，跟着尚硅谷发布的的hadoop视频今天第一天用博客记录学习笔记、遇到的问题及解决方法hadoop分布式系统基础架构——多态服务器共同完成某一项任务，解决海量存储+海量计算。
2023-09-05 14:52:04
79
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人