<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weixin_44272011的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_44272011</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_44272011]]></copyright><item><title><![CDATA[分析CPU占用最多的JAVA代码位置]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/124902679</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/124902679</guid><author>weixin_44272011</author><pubDate>Sat, 21 May 2022 20:10:47 +0800</pubDate><description><![CDATA[背景介绍：大数据环境下有时候需要分析写的代码合不合理是个非常复杂的活，也许本地跑的好好的，上了集群后，反而代码有问题，浪费很多资源
实践环节：
假如下边有三个线程，我们启动java程序后，如何定位那个代码需要更多的资源呢？
public static void main(String[] args) throws InterruptedException {
        new Thread(null,()-&gt;{
            while(true){}
        },"threa]]></description><category></category></item><item><title><![CDATA[2021年-年度总结]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/121715271</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/121715271</guid><author>weixin_44272011</author><pubDate>Sat, 04 Dec 2021 14:15:22 +0800</pubDate><description><![CDATA[其实今年的年度总结一开始没想到要说什么，顺便看了一下去年的总结。顺便感觉有话可以聊了。那大概总结以下几个内容：
1、2021年春招过程
2、拿下大厂offer
3、毕业论文如何在一周内完成
4、女朋友有多重要
5、顺利毕业
6、进入大厂工作
7、如何看待大数据这个行业的现状
可能这个内容比较多，我打算每周写一点。虽然都是一些不太重要的事情，但是记录下来，明年在看的时候，这都是成长。

......]]></description><category></category></item><item><title><![CDATA[Mac下Python--Selenium（Chrome）安装教程]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/112516329</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/112516329</guid><author>weixin_44272011</author><pubDate>Tue, 12 Jan 2021 12:11:31 +0800</pubDate><description><![CDATA[1、Python安装selenium
pip install selenium


2、根据Chrome浏览器版本下载ChromeDriver
在设置–&gt;&gt;关于Chrome下查看版本号。
例如我的是86.0.4240.75,其实需要的Driver版本就是86.0.4240即可

3、下载Chrome Driver
下载地址（可能需要翻墙）
只用前三位版本号对应即可。例如我的是86.0.4240.75,那么86.0.4240即可。

4、将安装好的chromeDriver移动到/usr/local]]></description><category></category></item><item><title><![CDATA[Python爬虫利器--异步async框架]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/112492377</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/112492377</guid><author>weixin_44272011</author><pubDate>Mon, 11 Jan 2021 21:11:15 +0800</pubDate><description><![CDATA[这里写目录标题请求逻辑装饰器使用方法定义指定并发量的协程获得协程返回的结果给task 添加回调函数task运行结果
分享一个爬虫，其实只用修改一下爬虫的请求逻辑就会很通用了。在工作中，尽管python慢，但是异步加载的协程可不慢，在请求接口的时候快的飞起。
请求逻辑
这是python的装饰器，其实就是帮助我们打印一下运行日志，挺好用的。
def logged(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        logger = ]]></description><category></category></item><item><title><![CDATA[Scala入门学习（适合有python基础）]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/112283365</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/112283365</guid><author>weixin_44272011</author><pubDate>Wed, 06 Jan 2021 17:17:28 +0800</pubDate><description><![CDATA[这里写目录标题前言基础类型两者变量
前言
不得不说，作为优秀的大数据开发工程师，Scala这门语言是必须掌握的，像Spark、Flink、Kafka等底层都是Scala写的，没办法，而且近来需要使用Scala编程Spark程序，正好自身掌握的最好的语言就是Python，想一招鲜吃遍天是不太可能的，这远远不够用，学习一门新的语言已经迫在眉睫。给自己定个小目标，10天吧，10天的时间入门就行，后续在深入研究。
基础类型
两者变量
Scala有两者变量，一种是val，另一种是var。它们有什么区别呢？看一看编程的]]></description><category></category></item><item><title><![CDATA[2020年-年度总结]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/111556743</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/111556743</guid><author>weixin_44272011</author><pubDate>Tue, 22 Dec 2020 15:32:50 +0800</pubDate><description><![CDATA[2020年是一个灾难年，上半年的疫情让我们少上了大概3个月的课，好在放假之前我就已经清楚的认识到了《数据结构》的重要性，边玩边学的情况下完成了大半，相比于我的同学们我算是混的极差了，人家在做大数据的项目时候我混了，做了简单的爬虫，这确实让我吃苦头。
比如：要说爬虫，我觉得多进程的爬虫加上引入的IP代理池可以有效的避免IP被封的情况，试问万**老师你知道这个原理？实在不想吐槽一些老师，真的能chui(说)不会还要说自己很会的样子。
其实这个爬虫
数据结构没让我在秋招中占多少便宜，其实呢找工作

...]]></description><category></category></item><item><title><![CDATA[脚本安装java环境]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/109615200</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/109615200</guid><author>weixin_44272011</author><pubDate>Wed, 11 Nov 2020 11:48:40 +0800</pubDate><description><![CDATA[在工作中，需要涉及到安装环境变量，如果机器太多就会导致花费大量的时间在配置环境上，如果有一个脚本，只需要把我们需要的安装包放在指定位置等待安装即可就可以减轻工作压力，因此本文意在减轻jdk环境变量的安装问题
注意事项：
1、jdk安装包，默认放在/root目录下面
2、java的安装目录在/usr/local/java/下
3、run.sh和check_jdk.sh 需要放在同一目录下
run.sh
#!/bin/bash

#安装java jdk
#ar -zxvf jdk* -C /root/jdk/
]]></description><category></category></item><item><title><![CDATA[查看yarn中的jobhistory（包含window上日志信息跳转功能的设置）]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108956179</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108956179</guid><author>weixin_44272011</author><pubDate>Wed, 07 Oct 2020 21:45:39 +0800</pubDate><description><![CDATA[一般来讲，在yarn中默认是没有开启Jobhistory服务的，需要自己手动打开。
首先需要在hadoop的etc/hadoop的mapred-site.xml中添加如下内容：
&lt;property&gt;
	&lt;name&gt;mapreduce.jobhistory.address&lt;/name&gt;
	&lt;value&gt;主机名字:10020&lt;/value&gt;
&lt;/property&gt;
&lt;property&gt;
    &lt;name&gt;mapre]]></description><category></category></item><item><title><![CDATA[Hive常用操作总结]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108942006</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108942006</guid><author>weixin_44272011</author><pubDate>Tue, 06 Oct 2020 18:32:17 +0800</pubDate><description><![CDATA[打卡，为期7天的hive语法的学习结束，正式开始刷题巩固知识点。
我将总结出来的语法和经验分享给大家
提取码 7hye

]]></description><category></category></item><item><title><![CDATA[Hive 四种排序的区别]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108919723</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108919723</guid><author>weixin_44272011</author><pubDate>Sun, 04 Oct 2020 16:58:31 +0800</pubDate><description><![CDATA[这里写目录标题1、order by2、sort by3、 distribute by4、 cluster by5、总结
1、order by
order by 顾名思义就是全局排序，在hive中无论设置几个job，最后的输出结果一定是一个job。
字段说明：
empno : 员工ID
ename: 员工名字
ejob: 职位
mgr: 领导ID
hiredate: 聘用日期
sal: 工资
comm: 奖金
deptno:部门ID
统一设置好分区数量3

需求：按照员工的工资(sal)升序排序

然后我们保]]></description><category></category></item><item><title><![CDATA[Linux下修改anaconda3安装后默认将python指定为python3版本]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108845412</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108845412</guid><author>weixin_44272011</author><pubDate>Mon, 28 Sep 2020 11:00:56 +0800</pubDate><description><![CDATA[首先保证自己的anaconda安装好了，然后我们使用alias修改环境变量的名字，指向linux自带的python2的版本。这样使用python3，直接输入python3会默认指向安装好需要的包的python3，而不是本地的。而输入python2，会自动跳转系统自带python。
修改环境变量如下：

使环境变量生效：

效果如下：
python


python2


python3


检查是否有需要的常用python包numpy、pandas、scipy、sklearn等等

...]]></description><category></category></item><item><title><![CDATA[Centos7.8下mysql数据库的安装教程]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108830219</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108830219</guid><author>weixin_44272011</author><pubDate>Sun, 27 Sep 2020 16:37:24 +0800</pubDate><description><![CDATA[这里写目录标题1、直接使用本地rpm和yum下载mysql1.2、卸载mysql1.2 安装过程2、登陆mysql数据库2.1 使用在线安装的时候无法登陆，密码正确也无法进入
1、直接使用本地rpm和yum下载mysql
1.2、卸载mysql
首先检查本地是否有mysql，先有rpm清除掉
查看本地mysql数据库的信息
rpm -qa|grep -i mysql


清除旧的mysql数据库
rpm -ev （复制上面的名字）

最好使用find方法检查一下所有文件目录中有没有mysql，如果安装过my]]></description><category></category></item><item><title><![CDATA[Spark Worker源码追踪和分析]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108779374</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108779374</guid><author>weixin_44272011</author><pubDate>Thu, 24 Sep 2020 17:46:50 +0800</pubDate><description><![CDATA[Worker原理
driver
原理
每一个Driver都会被封装成DriverRunner。在DriverRunner中，主要做的事情，就是在worker上面创建driver的工作目录，然后拉取jar包到本地将这些信息封装好了后使用buildProcess打包发送给driver进行运行，这里只需要知道driver是被java的waitFor启动即可。
源码
1、启动driver，主要是将配置信息封装到driverRunner中，driverRunner是一个一个的线程。

2、调用线程启动函数，准备启动d]]></description><category></category></item><item><title><![CDATA[Centos7下面Spark集群的搭建]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108698923</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108698923</guid><author>weixin_44272011</author><pubDate>Sun, 20 Sep 2020 21:38:32 +0800</pubDate><description><![CDATA[1、下载

]]></description><category></category></item><item><title><![CDATA[Centos7下hadoopHA集群搭建过程]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108694879</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108694879</guid><author>weixin_44272011</author><pubDate>Sun, 20 Sep 2020 20:55:50 +0800</pubDate><description><![CDATA[1、修改静态IP和hosts
这里一定要注意，在/etc/hosts下，必须要注释掉前两行，否则后面hadoop集群启动的时候，会报错！！！这是我已经解决好了的坑
参考下面的格式：
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.1]]></description><category></category></item><item><title><![CDATA[Centos7下三台机器的时间同步问题（HA集群NameNode无缘无故挂了一个）]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108686797</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108686797</guid><author>weixin_44272011</author><pubDate>Sat, 19 Sep 2020 22:48:16 +0800</pubDate><description><![CDATA[这里写目录标题1、首先，必须要有ntp2、给机器设置同步IP总结
1、首先，必须要有ntp
也就是说首先要进行
yum install ntp

注意，由于我下载的时候，最开始没有设置阿里云的镜像，因此，最开始是没有这个包的，并且centos7也不会提供这个包，所以，必须要手动下载！
注意，是必须要下载这个！！！
有可能可以先下好ntp这个包，然后用U盘拷到Centos下面直接本地安装就可以了。强烈建议安装yum镜像，否则下载时间把你等到气死！
下面分享如何设置yum 镜像问题
因为我下载的Centos7版]]></description><category></category></item><item><title><![CDATA[记一次Centos7.2.1511系统安装过程]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108673177</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108673177</guid><author>weixin_44272011</author><pubDate>Fri, 18 Sep 2020 22:39:34 +0800</pubDate><description><![CDATA[这里写目录标题1、下载Centos72、制作启动U盘3、系统安装4、修改网卡名称5、采坑过程
1、下载Centos7
下载地址：       注意是下载后缀为DVD的连接
2、制作启动U盘
UltralSO下载地址
这个东西直接下好后，一直下一步安装就可以，占不了多大的空间。
最后打开的效果如下：

因为我们只要用一次就好，所以呢点击试用就可以了。

进去以后是这个样子

在本地目录找到我们下载好的iso压缩包

双击压缩包，其中的文件直接放入上面的文件夹。
这里一定要注意！！！！！
我使用的是U盘，U盘里]]></description><category></category></item><item><title><![CDATA[python数据结构第十二章课后习题答案]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108609123</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108609123</guid><author>weixin_44272011</author><pubDate>Fri, 18 Sep 2020 21:44:17 +0800</pubDate><description><![CDATA[这里写目录标题12.2712.2812.2912.3012.3112.3312.3412.3512.3612.3812.3912.4012.4112.4212.4312.4512.4612.4712.4812.4912.5012.5312.5612.5712.5812.5912.6012.61
12.27
import math
import numpy as np


class Empty(Exception):
    pass


class _DoublyLinkedBase:
    """A ]]></description><category></category></item><item><title><![CDATA[python数据结构第十一章课后习题答案 (三)]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108609096</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108609096</guid><author>weixin_44272011</author><pubDate>Tue, 15 Sep 2020 20:42:43 +0800</pubDate><description><![CDATA[这里写目录标题11.5111.5311.6111.62
11.51
from abc import ABC
from collections import MutableMapping


class Tree:
    """Abstract base class representing a tree structure."""

    # ----------------------------nested Position class -----------------------------
 ]]></description><category></category></item><item><title><![CDATA[python数据结构第十一章课后习题答案 (二)]]></title><link>https://blog.youkuaiyun.com/weixin_44272011/article/details/108608984</link><guid>https://blog.youkuaiyun.com/weixin_44272011/article/details/108608984</guid><author>weixin_44272011</author><pubDate>Tue, 15 Sep 2020 20:42:16 +0800</pubDate><description><![CDATA[这里写目录标题11.4311.4411.4511.4611.47
11.43
from abc import ABC
from collections import MutableMapping


class Tree:
    """Abstract base class representing a tree structure."""

    # ----------------------------nested Position class --------------------------]]></description><category></category></item></channel></rss>