- 博客(14)
- 收藏
- 关注
RSS订阅原创 2021秋招面经
秋招面经 腾讯-云平台开发 算法：1. 实现二叉树的先序遍历。2.给定两个字符数组，找出所有相同的前缀。3. 给定一个数组只有0,1,2。对数组排序。4. 给定两个数组找出重复的数。（有没有可以优化的方法） 问项目。项目中遇到的难点? 你平时是怎么解决bug的？如果cpu满了你怎么定位问题的? 写过什么网络程序：写过socket。 linux用过哪些命令? linux原理了解吗? 总结：基础较弱。 联发科-嵌入式 说说项目。 linux进程之间的通信方式有哪些？ ...
2021-08-16 18:03:12
574
转载 从cpu到线程池
来源 | 码农的荒岛求生 头图 | 视觉中国 一切要从CPU说起 你可能会有疑问，讲多线程为什么要从CPU说起呢？原因很简单，在这里没有那些时髦的概念，你可以更加清晰的看清问题的本质。 CPU并不知道线程、进程之类的概念。 CPU只知道两件事: 1. 从内存中取出指令 2. 执行指令，然后回到1 你看，在这里CPU确实是不知道什么进程、线程之类的概念。 接下...
2021-04-10 14:38:06
247
转载 CDH详细安装配置教程
CDH详细安装配置教程： https://blog.youkuaiyun.com/weixin_37680513/article/details/111713387
2021-03-25 10:54:45
261
原创 flink on yarn
flink on yarn 模式配置问题总结 近期想把flink从standlong模式下改成yarn模式。遇到了一些问题。分享一下。向帮助过我的大哥们致敬。 1.slot数量为0.分配不到slot ？ 因为我修改了flink-conf-yaml文件里面的内容，添加了 taskmanager.network.memory.fraction: 0.1 taskmanager.network.memory.min: 268435456 taskmanager.network.memory.max: 429
2021-03-22 21:50:46
508
原创 Hadoop完全分布式集群配置全流程
写在前面 本文采用的方法是先配置好单台机器，然后克隆，只需要修改克隆机器的mac、ip、hostname就可以完成完全分布式集群的搭建。 slave文件控制datanode节点的位置。本文将resourcemanager节点放在Aslave102，secondnamenode放在Aslave103节点。原因是resourcemanager消耗大量内存，secondnamenode可以做到namenode的备份。 1.虚拟机准备 为虚拟机准备了，20GB内存。400G硬盘。Centos6.10操作系统
2020-07-19 13:35:46
888
原创 hadoop 节点改变时，主要修改的xml文件有哪些？
一、 1.core-site.xml 确定 NameNode的位置，tem.dir临时缓存的位置 2.slaves : 记录datanode的位置，不可以包括namenode的位置 3.yarn-site：Nodemanager、resourceManager 4.hdfs-site.xml : 记录副本数，secondary namenode。 二、 根据需要，修改etc/hosts 目录下的主机名称和ip对 ...
2020-06-04 21:01:47
254
原创 修改hadoop集群的ip地址需要修改的位置包括：
vim etc/hosts #配置ip和主机名的对应关系。 vim /etc/sysconfig/network-scripts/ifcfg-eth0 #修改ip和网关 service network restart #重启网关。 全部修改完后启动hadoop查看集群的启动情况，并上传运行系统实例，查看是否正常。 ...
2020-06-04 10:14:22
2267
转载 当节点重启网卡报错：
当节点重启网卡报错：Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System https://blog.youkuaiyun.com/weibin_6388/article/details/84821760
2020-06-04 10:04:45
360
原创 从IDEA到Spark：一个小demo
1.配置maven 链接：配置maven和仓库 设置maven源阿里云。 2.新建maven项目 1.修改man路径：自己下载的maven安装位置，如 Maven home directory: C:/MySoftware/apache-maven-3.6.3-bin/apache-maven-3.6.3 User settings file: C:\MySoftware\apache-maven-3.6.3-bin\apache-maven-3.6.3\conf\settings.xml Local
2020-06-02 09:38:07
400
转载 搬运---LeetCode##动态规划--字符串编辑距离求解
搬运LeetCode##动态规划--字符串编辑距离求解 1.编辑距离的定义： 两个字符串通过 1. 插入， 2.删除， 3.替换。转换成相同字符串的步数。 2.如何求解编辑距离： 一般是采用动态规划的思想。 链接如下： https://leetcode-cn.com/problems/edit-distance/solution/bian-ji-ju-chi-by-leetcode-solution/ ...
2020-05-26 14:30:36
241
原创 spark集群启动后8080端口不显示slave运行情况
当hadoop，spark集群在运行的时候，如果出现断电情况，系统会进入安全模式。因此，解决办法是关闭hadoop的安全模式。 1、 在安全模式下输入指令： hadoopdfsadmin-safemodeleave 即可退出安全模式。 2.关闭防火墙： systemctl stop firewalld (后面忘了，按table键就可以了） 3.关闭集群 $sbin/stop-master.sh (关闭spark...
2020-05-25 17:30:54
1132
1
原创 大数据与轨迹分析
大数据与轨迹数据分析（当前要学习的内容）什么是大数据？什么是轨迹数据？大数据与轨迹分析的联系？轨迹数据分析需要学习的基本知识有哪些？当前轨迹数据的研究点都在哪里？有哪些自己可以借鉴？找到自己的研究点。 什么是大数据？ 什么是轨迹数据？ 大数据与轨迹分析的联系？ 轨迹数据分析需要学习的基本知识有哪些？ 当前轨迹数据的研究点都在哪里？有哪些自己可以借鉴？ 找到自己的研究点。 ...
2019-12-07 18:29:42
9380
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人