<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lyw5200的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lyw5200</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lyw5200]]></copyright><item><title><![CDATA[实现：crontab定时任务定时到秒]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/120493923</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/120493923</guid><author>lyw5200</author><pubDate>Sun, 26 Sep 2021 17:57:34 +0800</pubDate><description><![CDATA[示例

如下：每天12点30分 运行程序

30 12 * * * nohup /usr/bin/python-u /home/test.py &gt;test.log2&gt;&amp;1 &amp;

如下: 每天12点30分30秒 运行程序

30 12 * * * sleep 30;nohup /usr/bin/python-u /home/test.py &gt;test.log2&gt;&amp;1 &amp;
...]]></description><category></category></item><item><title><![CDATA[CDH集群时间同步 （测试 仿真 生产三个集群均实现）]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/120493173</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/120493173</guid><author>lyw5200</author><pubDate>Sun, 26 Sep 2021 17:46:18 +0800</pubDate><description><![CDATA[背景

某不知名小券商，集群设置的定时任务总是在非交易日运行，定位到是集群时间不一致导致

于是着手对公司三套CDH集群(测试、仿真、生产)的时间进行同步设置

搜索参考了很多时间同步相关的博客，主要是使用ntp时间同步软件进行，这里不在多说，下面介绍一种较为简单粗暴的方式

解决过程：

1、角色说明

服务器 A：可用来同步时间的时间服务器，即它的时间是准确的

服务器B：CDH集群中充当时间服务器节点，因为B要同步A的时间

服务器其他节点：即CDH集群中除B之外的所有节点

2、具体过程

确保1中]]></description><category></category></item><item><title><![CDATA[实现：linux访问windows共享文件夹]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/120310323</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/120310323</guid><author>lyw5200</author><pubDate>Sat, 18 Sep 2021 10:32:28 +0800</pubDate><description><![CDATA[背景

确保在linux能访问windows机器 网络联通

在Linux机器上执行 telnet IP 445 测试是否联通

如：telnet10.0.22.15 445



1、进入linux机器 /dev 目录创建目录

cd /dev

mkdir /mnt/testdir

2、进入到创建的目录

cd /mnt/testdir

3、执行下行命令

mount -o username=yonghu,password=mima //10.0.22.15/dir1/dir2 /mnt/tes..]]></description><category></category></item><item><title><![CDATA[干货“python基础之元组与集合“]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/119985298</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/119985298</guid><author>lyw5200</author><pubDate>Sun, 29 Aug 2021 20:45:26 +0800</pubDate><description><![CDATA[今日分享：python基础之元组与集合

相对于前面介绍的几种数据类型，元组、集合的内容相对较少，所以就放在一块来介绍：



元组

元组（tuple）是由任意类型元素组成的序列，这一点和列表类似，但不同点在于元组是不可变的。

元组的创建是使用 () 来创建的，()空元组是最简单的元组，当创建包含一个或多个元组时，每一个元素后面都需要跟上一个逗号，其实在创建非空元组时，是不需要括号的，但是网上的很多资料教程中都默认在创建元组时直接输入括号，然后在括号中添加元素，下面的例子可以看到


&gt;&gt;&]]></description><category></category></item><item><title><![CDATA[干货“python基础之字典“]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/119951470</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/119951470</guid><author>lyw5200</author><pubDate>Sun, 29 Aug 2021 20:38:25 +0800</pubDate><description><![CDATA[# 数据分析必须对时间敏感，交易要关注成功还是失败

# 业务知识积累

## 名词解释

#### 1.双融交易

股票前有个融字是指这个股票可以融资、融券。融资的意思就是指投资者可以向证券公司交一些保证金，然后借钱买入股票，并在约定的期限内偿还借款本金和利息；融券的意思就是投资者用资金或者证券作为抵押，向证券公司借证券卖出去，并且在约定的期限内，买进相同的品种和相等数量的证券还给证券公司并且支付相应的费用。

#### 2.持仓

持仓是一个期货术语。持仓的意思就是通过买入的办法持有一定数量期货合约。具]]></description><category></category></item><item><title><![CDATA[已解决：sqoop mysql导入hive报错]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/117396218</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/117396218</guid><author>lyw5200</author><pubDate>Sun, 30 May 2021 11:40:17 +0800</pubDate><description><![CDATA[报错内容：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
]]></description><category></category></item><item><title><![CDATA[maven添加依赖无法加载 报错main java.lang.NoClassDefFoundError]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/117324743</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/117324743</guid><author>lyw5200</author><pubDate>Thu, 27 May 2021 11:28:22 +0800</pubDate><description><![CDATA[背景：spark-sql开发时，在pom.xml文件添加如下依赖

&lt;dependency&gt;
    &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;
    &lt;artifactId&gt;spark-sql_2.11&lt;/artifactId&gt;
    &lt;version&gt;2.1.1&lt;/version&gt;
    &lt;scope&gt;provided&lt;/scope&gt;
&lt;/dependen.]]></description><category></category></item><item><title><![CDATA[linux安装pip3]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/117280701</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/117280701</guid><author>lyw5200</author><pubDate>Wed, 26 May 2021 09:42:17 +0800</pubDate><description><![CDATA[系统：Ubuntu版linux

安装python3环境下的pip3命令


apt-get install python3-pip
或
sudo apt-get install python3-pip
]]></description><category></category></item><item><title><![CDATA[kafka集群开启后自动挂掉]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/116063502</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/116063502</guid><author>lyw5200</author><pubDate>Fri, 23 Apr 2021 17:13:37 +0800</pubDate><description><![CDATA[问题：开启kafka集群后，大概不到一分钟后便挂掉

个人解决方法：

1、开启zookeeper集群后，删除已经创建的kafka节点尤其是brokers节点目录

2、勿忘修改kafka集群节点的每个id
]]></description><category></category></item><item><title><![CDATA[解决：hdfs网页界面创建文件夹权限问题]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/116005506</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/116005506</guid><author>lyw5200</author><pubDate>Thu, 22 Apr 2021 11:14:50 +0800</pubDate><description><![CDATA[错误：

通过hdfs网页端创建文件夹时报如下错误

Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwx

解决方法：

执行该命令：hadoop fs -chmod -R 777 /

根目录/下全部赋予读写执行权限777
]]></description><category></category></item><item><title><![CDATA[IDEA 向上或向下新增一行，并光标移入]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/115598894</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/115598894</guid><author>lyw5200</author><pubDate>Sun, 11 Apr 2021 14:21:32 +0800</pubDate><description><![CDATA[IDEA开发工具快捷键：

向上新增一行，并光标自动移入该行：

Ctrl Alt Enter

向下新增一行，并光标自动移入该行：

Shift Enter
]]></description><category></category></item><item><title><![CDATA[linux下使用find命令查找特定文件]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/115507896</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/115507896</guid><author>lyw5200</author><pubDate>Thu, 08 Apr 2021 10:25:19 +0800</pubDate><description><![CDATA[1、默认在当前目录下查找：

  find -name test.py

  find为命令，-name表示根据文件名，test.py则为要查找的文件

  执行返回文件的绝对路径，若无该文件，则什么也不返回

2、在指定文件夹下查找

  find /home -name test.py

  上述则表明在home目录下，根据文件名来查找test.py文件




...]]></description><category></category></item><item><title><![CDATA[python基础之列表]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/115056926</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/115056926</guid><author>lyw5200</author><pubDate>Sun, 21 Mar 2021 21:49:06 +0800</pubDate><description><![CDATA[今日分享：pytohn基础之列表





定义及创建

列表是一种序列结构，可以包含多个元素，不要求每个元素的类型一样，可以有数字，字符串等。

列表通常是以 [] 来表示的


&gt;&gt;&gt; list_1 = [1,2,'hello',[],{'key':'value'},{1,2,3},(1,2,)]

&gt;&gt;&gt; type(list_1)

&lt;class 'list'&gt;

这样一个列表就创建成功了，可以看到列表中的元素类型包括：数字、字符串、空值列表以及后面将.]]></description><category></category></item><item><title><![CDATA[已解决：Eclipse添加第三方jar包到动态web工程]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/115047049</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/115047049</guid><author>lyw5200</author><pubDate>Sun, 21 Mar 2021 11:56:44 +0800</pubDate><description><![CDATA[问题：如何添加第三方jar包到java web工程

开发工具：Eclipse

解决：

1、当我们通过 File &gt;&gt;&gt; new &gt;&gt;&gt; Dynamic web project一个动态工程后

2、其下会有一个如下图所示的lib文件夹

3、将所需要添加的jar包复制到文件夹即可






...]]></description><category></category></item><item><title><![CDATA[python之数字]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114994934</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114994934</guid><author>lyw5200</author><pubDate>Fri, 19 Mar 2021 07:25:35 +0800</pubDate><description><![CDATA[今日分享：python基础之数字



理解数字

在python中，数字是一种常见的数据类型，又细分为整型和浮点型数字，即整数和浮点数。整数很好理解，比如常见的1、2等，对于浮点数，普遍说法是带有小数点的数，比如3.14，而百科是这样解释的：浮点数是属于有理数中某特定子集的数的数字表示，在计算机中用以近似表示任意某个实数。具体的说，这个实数由一个整数或定点数（即尾数）乘以某个基数（计算机中通常是2）的整数次幂得到，这种表示方法类似于基数为10的科学计数法。对于大家来说，可以直接将其理解为小数。

简单运算]]></description><category></category></item><item><title><![CDATA[eclipse开发工具下 java创建mysql数据库properties配置文件存放路径]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114919198</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114919198</guid><author>lyw5200</author><pubDate>Wed, 17 Mar 2021 11:00:01 +0800</pubDate><description><![CDATA[开发工具：eclipse

解决问题：数据库properties文件存放路径

背景介绍：在使用阿里的Druid德鲁伊数据库连接池工具时，代码中需要加载读取properties文件，翻了很久博客，总算找到了一个靠谱的解决方案

具体步骤如下：

鼠标右键点击项目名称，创建源码包：new -&gt; Source Folder

名称设为config，然后将配置文件放在该文件夹下



mysql配置文件代码如下：


url=jdbc:mysql://105.105.139.202:3306/test?re]]></description><category></category></item><item><title><![CDATA[Java连接MySQL 实现数据的增删改查 附实际代码]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114836646</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114836646</guid><author>lyw5200</author><pubDate>Mon, 15 Mar 2021 16:12:43 +0800</pubDate><description><![CDATA[环境介绍：

编辑器：Eclipse

mysql数据库jar包：mysql-connector-java-8.0.22.jar

java版本：1.8*

eclipse如何加载jar包，可参考https://jingyan.baidu.com/article/f3e34a127f837db5eb6535d3.html这里不做重点分享

主要内容：

主方法代码如下所示：


	public static void main(String[] args) {
		
//		声明Connection对象..]]></description><category></category></item><item><title><![CDATA[flume实战：监控文件所追加内容]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114745034</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114745034</guid><author>lyw5200</author><pubDate>Sat, 13 Mar 2021 14:04:06 +0800</pubDate><description><![CDATA[一：agent配置文件内容


# 声明agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 监控test.log文件追加内容
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /opt/software/flume/datas/test.log

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which ]]></description><category></category></item><item><title><![CDATA[flume实战：netcat端口数据监听]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114737144</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114737144</guid><author>lyw5200</author><pubDate>Sat, 13 Mar 2021 11:57:39 +0800</pubDate><description><![CDATA[一：环境说明

jdk版本：jdk-8u171-linux-x64.tar.gz

flume版本：apache-flume-1.7.0-bin.tar.gz

需要的小伙伴请自行下载解压并配置，这里不再阐述，若有问题，请评论或移步到公号留言

二：实战示例

1、编写配置文件

此处可先在flume安装目录下创建job文件夹，后续编辑的agent配置文件可放在该文件夹下，(文件夹及文件名自定义即可，保持一致)


# 声明一个agent：a1，并分别指定其三大组件的名字
a1.sources = r1
a]]></description><category></category></item><item><title><![CDATA[django js代码实现点分IP与整型数值的互相转换]]></title><link>https://blog.youkuaiyun.com/lyw5200/article/details/114654809</link><guid>https://blog.youkuaiyun.com/lyw5200/article/details/114654809</guid><author>lyw5200</author><pubDate>Thu, 11 Mar 2021 10:46:07 +0800</pubDate><description><![CDATA[问题发现：通过js代码向django路由URL传参时，发现路由未能正确解析获取点分IP的值
解决：对点分IP进行js转换，将整型数值传参到djangoURL中即可

下述是点分IP与整形数值之间的互相转换函数：

// 将点分ip转换为整型数值
function ipToInt(ip){
    let num = 0;
    ip = ip.split(".");
    num = Number(ip[0]) * 256 * 256 * 256 + Number(ip[1]) * 256 * 256.]]></description><category></category></item></channel></rss>