<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[code__online的博客]]></title><description><![CDATA[小白的搬砖之路]]></description><link>https://blog.youkuaiyun.com/code__online</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; code__online]]></copyright><item><title><![CDATA[canal的INVALID_TOPIC_EXCEPTION问题]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/122447648</link><guid>https://blog.youkuaiyun.com/code__online/article/details/122447648</guid><author>code__online</author><pubDate>Wed, 12 Jan 2022 10:26:51 +0800</pubDate><description><![CDATA[canal INVALID_TOPIC_EXCEPTION问题]]></description><category></category></item><item><title><![CDATA[Hbase协处理器常见问题]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/118059286</link><guid>https://blog.youkuaiyun.com/code__online/article/details/118059286</guid><author>code__online</author><pubDate>Sat, 19 Jun 2021 21:23:52 +0800</pubDate><description><![CDATA[常见问题
Hbase协处理器同步数据到elasticsearch搜索引擎，如果代码有问题，将会导致Hbase集群挂掉，无法重启Hbase集群。
解决方案
修改hbase配置文件hbase-site.xml
&lt;property&gt;
    &lt;name&gt;hbase.coprocessor.abortonerror&lt;/name&gt;
    &lt;value&gt;false&lt;/value&gt;
&lt;/property&gt;

重启hbase集群，解绑hbase表的协]]></description><category></category></item><item><title><![CDATA[Elasticsearch原理]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/117787717</link><guid>https://blog.youkuaiyun.com/code__online/article/details/117787717</guid><author>code__online</author><pubDate>Thu, 10 Jun 2021 17:41:32 +0800</pubDate><description><![CDATA[基本概念
索引（Index）
ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。
类型（Type）
类型是索引内部的逻辑分区(category/partitio...]]></description><category></category></item><item><title><![CDATA[实时计算Flink]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/116355224</link><guid>https://blog.youkuaiyun.com/code__online/article/details/116355224</guid><author>code__online</author><pubDate>Sun, 02 May 2021 19:48:22 +0800</pubDate><description><![CDATA[实时计算Flink
三种实时计算框架storm、spark streaming和flink的对比

storm延迟低但吞吐量小
spark streaming吞吐量大，但延迟高
flink是一种兼具低延迟和高吞吐量特点的流计算技术，还是一套框架中能同时支持批处理和流处理的
一个计算平台

Flink流处理特性

高吞吐、低延迟、高性能
支持带有事件时间的窗口（Window）操作
支持有状态计算的Exactly-once语义
支持高度灵活的窗口（Window）操作，支持基于time、count、session]]></description><category></category></item><item><title><![CDATA[Microsoft visual c++ 14.0 is required问题]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/109637533</link><guid>https://blog.youkuaiyun.com/code__online/article/details/109637533</guid><author>code__online</author><pubDate>Thu, 12 Nov 2020 10:19:11 +0800</pubDate><description><![CDATA[python有时使用pip包管理器安装库时，会报错Microsoft visual c++ 14.0 is required。
例如：pip install sasl

error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools

针对这种情况，有两种解决方案
方法1]]></description><category></category></item><item><title><![CDATA[大数据之Hue]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/109145361</link><guid>https://blog.youkuaiyun.com/code__online/article/details/109145361</guid><author>code__online</author><pubDate>Sun, 18 Oct 2020 15:56:11 +0800</pubDate><description><![CDATA[1. Hue简介
HUE=Hadoop User Experience(Hadoop用户体验)，直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。
2. Hue与其他框架的集成
2.1 Hue与HDFS
2.1.1 集群环境




master]]></description><category></category></item><item><title><![CDATA[Centos7安装hue]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/109144966</link><guid>https://blog.youkuaiyun.com/code__online/article/details/109144966</guid><author>code__online</author><pubDate>Sun, 18 Oct 2020 15:13:16 +0800</pubDate><description><![CDATA[Hue 在编译时有两种方式:

通过maven、ant编译
通过python编译（centos7下的Python为2.7版本）两种方式都是在hue目录下 make apps。第一种方式需要先配置maven、ant的环境

注：不要使用root 用户安装，选择集群中的一台机器安装hue（不能安装mysql）
1. 必备软件环境
Centos 6.8
Python 2.7 (系统自带)
apache-maven-3.3.9-bin.tar
jdk-8u171-linux-x64.tar
apache-ant-1]]></description><category></category></item><item><title><![CDATA[hue-hbase查询]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/109142896</link><guid>https://blog.youkuaiyun.com/code__online/article/details/109142896</guid><author>code__online</author><pubDate>Sun, 18 Oct 2020 12:03:36 +0800</pubDate><description><![CDATA[hue入口：http://hue服务器地址:8888/（默认端口为8888）
hue web页面如下

选择Data Browser下的Hbase，进入Hbase页面

选择Hbase的一个表，点击进入，可查看此表的数据格式

Hbase表的数据查询窗口如下，查询语句格式如图

主键查询

输入主键rowkey，rowkey2
说明：查询对应主键rowkey的数据记录
例如：查询主键100_1233,100_1237对应记录

主键的前缀模糊查询row_prefix*
说明：根据主键的前几位进行模糊查询，默]]></description><category></category></item><item><title><![CDATA[kafka可视化之kafka Manager]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/108683079</link><guid>https://blog.youkuaiyun.com/code__online/article/details/108683079</guid><author>code__online</author><pubDate>Sat, 19 Sep 2020 16:50:59 +0800</pubDate><description><![CDATA[1. 下载kafka-manager
[root@master local]# wget https://github.com/yahoo/CMAK/archive/1.3.3.15.tar.gz

2. 解压至指定目录
[root@master local]# tar -zxvf 1.3.3.15.tar.gz -C /usr/local/

3. 修改配置文件conf/application.conf
#配置zookeeper集群信息
kafka-manager.zkhosts="master:2181]]></description><category></category></item><item><title><![CDATA[Kafka Monitor安装]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/108682465</link><guid>https://blog.youkuaiyun.com/code__online/article/details/108682465</guid><author>code__online</author><pubDate>Sat, 19 Sep 2020 16:35:56 +0800</pubDate><description><![CDATA[1. 下载KafkaOffsetMonitor-assembly-0.4.6.jar
2. 在指定文件下下创建kafka-offset-console目录
[root@master local]# mkdir kafka-offset-console

3. 将jar包放至kafka-offset-console目录下
4. 在kafka-offset-console目录下创建启动脚本start.sh
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.]]></description><category></category></item><item><title><![CDATA[大数据之Kafka集群搭建]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/108681205</link><guid>https://blog.youkuaiyun.com/code__online/article/details/108681205</guid><author>code__online</author><pubDate>Sat, 19 Sep 2020 15:49:37 +0800</pubDate><description><![CDATA[1. kafka集群




master
slave1
slave2




zookeeper
zookeeper
zookeeper


kafka
kafka
kafka


2. 下载kafka安装包
[root@master local]# wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

3. kafka集群部署
3.1 解压至安装路径
[root@master local]# tar -z]]></description><category></category></item><item><title><![CDATA[分布式计算框架Spark]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/90576573</link><guid>https://blog.youkuaiyun.com/code__online/article/details/90576573</guid><author>code__online</author><pubDate>Tue, 27 Aug 2019 21:18:48 +0800</pubDate><description><![CDATA[一、spark三种模式

本地模式

./bin/run-example SparkPi 10 --master local[2]


集群模式 spark standalone（spark独立集群模式）

./bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master spark://master:7077 ...]]></description><category></category></item><item><title><![CDATA[Hive1.x安装]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/93381170</link><guid>https://blog.youkuaiyun.com/code__online/article/details/93381170</guid><author>code__online</author><pubDate>Sun, 23 Jun 2019 15:06:33 +0800</pubDate><description><![CDATA[1. 下载hive源码包
master
[root@master local]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

2. 解压hive压缩包至指定路径
[root@master local]# tar -zxvf apache-hive-1.2...]]></description><category></category></item><item><title><![CDATA[Spark+Scala安装]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/92625206</link><guid>https://blog.youkuaiyun.com/code__online/article/details/92625206</guid><author>code__online</author><pubDate>Mon, 17 Jun 2019 15:10:10 +0800</pubDate><description><![CDATA[集群环境




hostname
IP




master
192.168.63.12


slave1
192.168.63.13


slave2
192.168.63.14


Scala安装
master
下载scala包
wget https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz

解压至指定路径
tar -z...]]></description><category></category></item><item><title><![CDATA[处理不平衡样本集的采样方法]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/91358210</link><guid>https://blog.youkuaiyun.com/code__online/article/details/91358210</guid><author>code__online</author><pubDate>Sun, 09 Jun 2019 22:12:11 +0800</pubDate><description><![CDATA[在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反诈骗等，经常会遇到正负样本不均衡的问题。对于分类算法，如果直接采用不平衡的样本集进行训练学习，会存在一些问题。例如，如果正负样本比例达到1:99，则分类器简单地将所有样本都判定为负样本能达到99%的正确率，显然这并不是我们想要的，我们想让分类器在正样本和负样本上都有足够的准确率和召回率。
为什么很多分类模型在训练数据不均衡时会出现问题？
本质...]]></description><category></category></item><item><title><![CDATA[过拟合和欠拟合]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/91357524</link><guid>https://blog.youkuaiyun.com/code__online/article/details/91357524</guid><author>code__online</author><pubDate>Sun, 09 Jun 2019 21:23:10 +0800</pubDate><description><![CDATA[在模型评估与调整的过程中，往往会遇到“过拟合”或“欠拟合”的情况。如何有效地识别“过拟合”和“欠拟合”现象，并有针对性地进行模型调整，是不断改进机器学习模型的关键。
过拟合是指模型对于训练数据出现过度拟合的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现很差。
欠拟合是指模型在训练和预测时表现都不好的情况。
下图描述了过拟合和欠拟合的区别：

可以看出，图a是欠拟合...]]></description><category></category></item><item><title><![CDATA[模型的超参数调优]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/91357205</link><guid>https://blog.youkuaiyun.com/code__online/article/details/91357205</guid><author>code__online</author><pubDate>Sun, 09 Jun 2019 21:00:52 +0800</pubDate><description><![CDATA[超参数是一个参数，是一个未知变量，但是它不同于在训练过程中的参数，它是可以对训练得到的参数有影响的参数，需要训练者人工输入，并作出调整，以便优化训练模型的效果。
为了进行超参数调优，我们一般会采用网格搜索、随机搜索、贝叶斯优化等算法。在具体介绍算法之前，需要明确超参数搜索算法一般包括哪几个要素。一是目标函数，即算法最大化/最小化的目标；二是搜索范围，一般通过上限和下限来确定；三是算法的其他参数，如...]]></description><category></category></item><item><title><![CDATA[模型评估的方法]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/91356976</link><guid>https://blog.youkuaiyun.com/code__online/article/details/91356976</guid><author>code__online</author><pubDate>Sun, 09 Jun 2019 20:42:24 +0800</pubDate><description><![CDATA[模型评估过程中，有哪些主要的验证方法，它们的优缺点是什么？

Holdout检验
Holdout检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练街和验证集。比方说，对于一个点击率预测模型，把样本按照7:3的比例分成两部分，70%的样本用于模型训练；30%的样本用于模型验证，包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。Holdout检验的缺点很明显，即在验证集上计算...]]></description><category></category></item><item><title><![CDATA[模型评估]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/91354755</link><guid>https://blog.youkuaiyun.com/code__online/article/details/91354755</guid><author>code__online</author><pubDate>Sun, 09 Jun 2019 20:20:32 +0800</pubDate><description><![CDATA[在机器学习领域中，为了检验训练好的模型性能，需要对模型进行评估。而且不同类型的模型所使用的评估方法也会有所差异。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择有所不同。
分类问题
分类模型的常用评估指标有准确率、精确率、回召率、F1...]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/code__online/article/details/90928092</link><guid>https://blog.youkuaiyun.com/code__online/article/details/90928092</guid><author>code__online</author><pubDate>Thu, 06 Jun 2019 22:30:24 +0800</pubDate><description><![CDATA[特征工程
特征预处理
特征选择



特征工程
对于一个机器学习问题，数据和特征决定了结果的上限，而模型、算法的选择及优化是在逐步逼近这个上限。特征工程，顾名思义，是对原始特征进行一系列的工程处理，生成有价值的新特征，并将这些特征作为输入以供算法和模型使用。基本的操作为衍生（升维）、筛选（降维）等。通过归纳和总结，将特征工程分为以下方面：

特征预处理


...]]></description><category></category></item></channel></rss>