
大数据
世润
已取得数据治理工程师,具备大数据,人工智能,风控模型,java,数据分析,javaweb,android,表格等多项技能,一起努力,共同成长。
展开
-
大数据技术篇-搭建三台虚拟机实现通信
VM net8设置要想实现三台虚拟机的通信联通,首先要在VM net8配置克隆虚拟机后面需要clone另外两台虚拟机;克隆之前需要保持被克隆的虚拟机不是开机状态然后右击被克隆的虚拟机->管理->克隆,就有了对应的虚拟机修改ip及mac地址为了实现三台机器的通信,首先要保证网络和mac地址不同,否则也谈不上是不同的机器进行通信使用root用户,修...原创 2020-03-29 19:38:29 · 1630 阅读 · 0 评论 -
SecureCRT调整字体大小
1.找到options2.找到appearance,对font进行调整字体大小3.在大小这块调整session字体的大小原创 2022-05-03 16:43:18 · 8232 阅读 · 2 评论 -
关于echo $PATH无显示值问题
背景: 有时候我们在linux系统上会遇到echo $PATH没有值的情形,往往是.bashrc的文件没有source一下,那bash的作用是什么?我们可以跟进linux来查询下,man bash答案是:Bash是一个与sh兼容的命令语言解释器,它执行从标准输入或文件中读取的。解决方法 以JAVA_HOME为例,我们切换到/etc/profile.d目录下,vimmy_env.sh 进入到根目录下,编辑.bashrc...原创 2020-11-14 16:07:36 · 7274 阅读 · 2 评论 -
Name node is in safe mode
启动hive时会因为安全模式导致hive启动不了,如下图所示:那就需要将安全模式进行关闭;使用如下命令:hadoop dfsadmin -safemode leave这样就可以启动成功了;原创 2020-06-03 23:36:32 · 277 阅读 · 11 评论 -
大数据技术篇-虚拟机的网络配置
虚拟机的网络状态分为三种:桥接模式、NAT模式、仅主机模式桥接模式:虚拟主机与真实主机可以同样的访问外网,虚拟主机和真实主机在同一网段上;NAT模式:虚拟主机和真实主机访问外网,虚拟机的IP网段与VM net8在同一网段上;仅主机模式:虚拟主机不能和外网通信,虚拟主机的IP网段和VM net0在同一网段上;因网上有很多安装虚拟机的教程,在此不用发表;故将虚拟机的IP设置方式写...原创 2020-03-28 18:22:36 · 565 阅读 · 1 评论 -
环境变量path的值超过1023字符。无法设置该值
在我们安装oracle的时候,可能会出现如下问题:环境变量path的值超过1023字符。无法设置该值原创 2020-03-13 12:15:38 · 1907 阅读 · 2 评论 -
关于TableU的理解
背景 之前做可视化的时候经常会用到echarts,d3,cytoscape,可是对于tableu了解的少些,今天有位同事提到了这块,自己查询了一些资料总结一下。是什么 是一种可视化工具,具体功能很类似于智器云的火眼金睛这款软件。主要是将数据引入过来,然后通过界面化拖拽维度,从而渲染成图。为什么 为什么要用呢?主要是在于容易将数据导入...原创 2019-10-14 23:03:14 · 6519 阅读 · 0 评论 -
hive获取json文件的方式
1.通过get_json_object的方法,但是只能使用两个参数进行接收;2.为了避免出现上述问题,可以使用json_tuple,如下图:原创 2019-08-27 21:51:44 · 663 阅读 · 0 评论 -
Could not connect to '192.168.10.101' (port 22): Connection failed.
出现问题:xshell连接虚拟机时连接不上;问题诊断:使用root用户登录到虚拟机中,打开teminal,如下图:输入命令 chkconfig --list|grepsshd,检查sshd的状态,如上图显示:0(系统关机)sshd服务关闭;1(单用户:该状态类似于安全模式,可以帮助用户找回root密码)这个时候的sshd服务也是关闭的;2(表示多用户没有网络服务)开启sshd服务...原创 2019-04-12 18:59:54 · 16993 阅读 · 0 评论 -
常见的linux面试题(二)
linux查看内存、磁盘存储、io读写、端口占用、进程等命令:1.查看内存:top2.磁盘存储:使用命令:df -lh3.io读写:使用iotop命令,使用这个命令前,需要下载iotop插件,然后使用iotop命令,如下图显示:4.端口占用:netstat -tunlp5.进程:ps -aux | grep 进程名...原创 2019-04-11 16:33:13 · 238 阅读 · 0 评论 -
csv文件转换成xlsx文件方法
背景:在实际工作中,我们经常会面对大批量的数据进行处理,其中将csv文件文件转换成xlsx文件就是其中的一项,废话少说,上家伙;一般方法:将csv文件另存为xlsx文件;但实际中03版本(.xls)的存储行数上限是65536行,07版本(.xlsx)存储行数上限是1048576行,而csv是文本进行存储,没有上限进行存储数据,如果单纯的进行另存为就不会成功,更有情况,csv根本...原创 2018-10-22 23:26:28 · 22360 阅读 · 1 评论