<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Millton0518的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Millton0518</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Millton0518]]></copyright><item><title><![CDATA[OpenNMS安装]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/138285817</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/138285817</guid><author>Millton0518</author><pubDate>Sun, 28 Apr 2024 17:41:53 +0800</pubDate><description><![CDATA[允许 8980 端口访问 sudo firewall-cmd --permanent --add-port=8980/tcp # 重新加载防火墙规则 sudo systemctl reload firewalld。文件中，每条记录都是一行，定义了一种连接类型、连接来源、目标数据库、用户和使用的认证方法。ident使用基于映射的系统用户身份进行认证（适用于某些类型的网络连接）。peer使用操作系统的用户身份进行认证（通常用于本地连接）。password要求输入密码，但是密码以明文形式发送。]]></description><category></category></item><item><title><![CDATA[hive中的常用日期处理函数]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/126826211</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/126826211</guid><author>Millton0518</author><pubDate>Tue, 13 Sep 2022 08:25:35 +0800</pubDate><description><![CDATA[在日常hive计算中，最常用的日期函数有5个：date_format：常用于处理月指标date_add或date_sub： 常用于处理日指标next_day：常用于处理周指标last_day：常用于处理月指标datediff：常用于处理日指标。]]></description><category></category></item><item><title><![CDATA[性能调优的必要性]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/125167071</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/125167071</guid><author>Millton0518</author><pubDate>Tue, 07 Jun 2022 16:21:00 +0800</pubDate><description><![CDATA[在数据应用场景中，ETL（Extract Transform Load）往往是打头阵的那个，毕竟源数据经过抽取和转换才能用于探索和分析，或者是供养给机器学习算法进行模型训练，从而挖掘出数据深层次的价值。我们今天要举的两个例子，都取自典型 ETL 端到端作业中常见的操作和计算任务。第一个例子很简单：给定数据条目，从中抽取特定字段。这样的数据处理需求在平时的 ETL 作业中相当普遍。想要实现这个需求，我们需要定义一个函数 extractFields：它的输入参数是 Seq[Row]类型，也即数据条目序列；输出结]]></description><category></category></item><item><title><![CDATA[cdh6.2+ 集成flink1.14.4]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/124587523</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/124587523</guid><author>Millton0518</author><pubDate>Fri, 06 May 2022 08:46:25 +0800</pubDate><description><![CDATA[文章目录准备一、编译flink二、制作Flink的parcel包和csd文件1. 下载制作脚本2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件7 重启CDH server三、CDH集成1.打开CDH登录界面2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6.添加flink服务错误1错误2四、验证Flink服务错误3错误4

准备
版本：
Centos7.6
JDK1.8
Scala2.11
Python2.7
Git1.8.3.1
Apache Mav]]></description><category></category></item><item><title><![CDATA[如何优化棘手的Spark程序性能问题？]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/124397202</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/124397202</guid><author>Millton0518</author><pubDate>Mon, 25 Apr 2022 09:30:09 +0800</pubDate><description><![CDATA[乍一看编写 Spark 程序似乎很容易，如果了解数据的要求和足够的知识，那就是读取数据集、根据键进行连接、然后做一些转换，最后便准备好了一个交付的新数据集！如果您正在使用的数据非常小并且整个转换过程只需要几分钟，则可能会出现这种情况。然而从定义上看，Spark 具有高度可扩展性，当数据量越来越大时，事情可能会失控。相反如果转换可能需要数小时，而需要尝试尽可能缩短执行时间，则可以尝试扩展集群并为此支付更多费用，或者可以尝试优化代码。知道如何解决性能问题并能够优化 Spark 代码（或者只是让它运行得更快）是一]]></description><category></category></item><item><title><![CDATA[spark本地运行错误(1)]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/124006297</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/124006297</guid><author>Millton0518</author><pubDate>Thu, 07 Apr 2022 09:48:48 +0800</pubDate><description><![CDATA[java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
 at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMem...]]></description><category></category></item><item><title><![CDATA[idea 无法新建工程]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/121039834</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/121039834</guid><author>Millton0518</author><pubDate>Fri, 29 Oct 2021 17:53:12 +0800</pubDate><description><![CDATA[现象：无法新建工程

解决方案：

查看日志

help-&gt;show Log in Exploer













Kotlin插件加载异常造成无法创建项目

快速解决问题，直接禁用掉Kotlin插件即可








]]></description><category></category></item><item><title><![CDATA[mysql performance_schema/information_schema授权问题]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/118755758</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/118755758</guid><author>Millton0518</author><pubDate>Thu, 15 Jul 2021 11:30:35 +0800</pubDate><description><![CDATA[为mysql创建新用户后，使用root用户登录，进行授权，发现以下错误：



翻阅了很多csdn文章，瞎掰的太多了。






mysql&gt; grant all on performance_schema.* to 'testuser'@'%';
ERROR 1044 (42000): Access denied for user 'root'@'localhost' to database 'performance_schema'
mysql&gt; grant all on infor...]]></description><category></category></item><item><title><![CDATA[MySql 5.7 修改root密码,解决不用密码也能登录问题]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/118523255</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/118523255</guid><author>Millton0518</author><pubDate>Tue, 06 Jul 2021 16:19:37 +0800</pubDate><description><![CDATA[登录mysql ，执行以下语句

update mysql.user set authentication_string=PASSWORD("密码") where user='root';

update mysql.user set plugin="mysql_native_password";

flush privileges;

quit;

重启mysql服务

service mysql restart;

或者/etc/init.d/mysql restart
...]]></description><category></category></item><item><title><![CDATA[phoenix 修改表字段]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102931528</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102931528</guid><author>Millton0518</author><pubDate>Wed, 06 Nov 2019 11:31:21 +0800</pubDate><description><![CDATA[主要记录下apache phoenix修改表字段的一种变通方式,仅供参考




 CREATE TABLE IF NOT EXISTS t_appversion (
  f_region_id VARCHAR,
  f_province_id VARCHAR,
  f_province_name VARCHAR,
  f_terminal INTEGER ,
  f_phone_model ...]]></description><category></category></item><item><title><![CDATA[pip install  指定国内镜像]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102847672</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102847672</guid><author>Millton0518</author><pubDate>Thu, 31 Oct 2019 22:59:56 +0800</pubDate><description><![CDATA[今天使用pip下载scrapy 巨慢,查了下资料,可以指定源加速下载


pip install -i 第三方源 软件包名

下载scrapy 

pip install -i  https://pypi.tuna.tsinghua.edu.cn/simple   scrapy

常用国内源


清华：https://pypi.tuna.tsinghua.edu.cn/simple

中国科...]]></description><category></category></item><item><title><![CDATA[linux 安装lrzsz]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102819391</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102819391</guid><author>Millton0518</author><pubDate>Wed, 30 Oct 2019 14:58:20 +0800</pubDate><description><![CDATA[总是忘记命令,做个笔记

centos 安装rzsz


yum -y install lrzsz


]]></description><category></category></item><item><title><![CDATA[updates is listed more than once in the configuration 解决方法]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102682595</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102682595</guid><author>Millton0518</author><pubDate>Tue, 22 Oct 2019 14:58:46 +0800</pubDate><description><![CDATA[删除所有/etc/yum.repo.d/目录下所有repo文件，重新更换一遍源解决

更换其他源参考https://mp.youkuaiyun.com/postedit/44259343
]]></description><category></category></item><item><title><![CDATA[Spark Streaming场景应用-Kafka数据读取方式]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102562476</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102562476</guid><author>Millton0518</author><pubDate>Tue, 15 Oct 2019 10:37:57 +0800</pubDate><description><![CDATA[概述

Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 Spark Streaming 官方提供了两种方式读取Kafka数据：

一是Receiver-ba...]]></description><category></category></item><item><title><![CDATA[hive derby.log 位置]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102549289</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102549289</guid><author>Millton0518</author><pubDate>Mon, 14 Oct 2019 15:28:33 +0800</pubDate><description><![CDATA[使用spark-sql连接hive 数据源 总会出现derby.log 文件，挺碍眼的。查了下资料 在$SPARK_HOME/conf/spark-defaults.conf 添加一下配置即可




spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby

整个世界都清净了。
...]]></description><category></category></item><item><title><![CDATA[Hadoop各种压缩的应用场景与使用]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/102532542</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/102532542</guid><author>Millton0518</author><pubDate>Sun, 13 Oct 2019 14:28:05 +0800</pubDate><description><![CDATA[什么是文件压缩？

一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。

MapReduce 为什么需要文件压缩？

Hadoop 之所以需要进行文件压缩，是因为使用文件压缩可以减少文件存储所需要的空间，加快数据在网络和磁盘上的传输。处理大文件时...]]></description><category></category></item><item><title><![CDATA[hive 动态分区无法删除]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/98082952</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/98082952</guid><author>Millton0518</author><pubDate>Thu, 01 Aug 2019 20:40:23 +0800</pubDate><description><![CDATA[最近生产环境出现了一个错误，spark无法写入数据的到hive报以下错误


Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition for table orc_report_behavior
	at org.apache.hadoop.hive.ql.metadata.Partition.in...]]></description><category></category></item><item><title><![CDATA[Hadoop及HBase使用过程中的一些问题集]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/95967266</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/95967266</guid><author>Millton0518</author><pubDate>Mon, 15 Jul 2019 14:50:03 +0800</pubDate><description><![CDATA[本文是我在使用Hbase的过程碰到的一些问题和相应的解决方法，现将这些经过总结分析，以免日后忘记。hadoop新增节点
hadoop集群要增加3个节点。在3台主机分别配置了host、与集群内所有机器的ssh登录互信、jdk1.7 等。所有配置、目录等与集群其他机器保持一致。把安装文件拷贝到3台主机后，同时将修改后的配置文件分发到三台主机相应目录中。修改namenode的slaves文件，增加...]]></description><category></category></item><item><title><![CDATA[TCP端口状态说明ESTABLISHED、TIME_WAIT]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/80000432</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/80000432</guid><author>Millton0518</author><pubDate>Thu, 19 Apr 2018 09:49:50 +0800</pubDate><description><![CDATA[TCP状态转移要点TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不 会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得 注意的状态有两个：CLOSE_WAIT和TIME_WAIT。  1、LISTENING状态...]]></description><category></category></item><item><title><![CDATA[HDFS 原理、架构与特性]]></title><link>https://blog.youkuaiyun.com/Millton0518/article/details/78574470</link><guid>https://blog.youkuaiyun.com/Millton0518/article/details/78574470</guid><author>Millton0518</author><pubDate>Sun, 19 Nov 2017 15:00:23 +0800</pubDate><description><![CDATA[1：当前HDFS架构详尽分析


分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209，这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程，欢迎初学和进阶中的小伙伴。

HDFS架构
•NameNode
•Da]]></description><category></category></item></channel></rss>