<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lbf_ML的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lbf_ML</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lbf_ML]]></copyright><item><title><![CDATA[修改表操作]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/147228397</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/147228397</guid><author>lbf_ML</author><pubDate>Mon, 14 Apr 2025 17:10:00 +0800</pubDate><description><![CDATA[cascade;--cascade 表示元数据修改 刷新之后有数 不然刷新之后也会为空。]]></description><category></category></item><item><title><![CDATA[【hadoop】Archive命令使用]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/101000057</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/101000057</guid><author>lbf_ML</author><pubDate>Wed, 18 Sep 2019 22:21:57 +0800</pubDate><description><![CDATA[Archive命令
hadoop Archive是一个高效地将小文件放入HDFS块中的文件存档文件格式，它能够将多个小文件打包成一个后缀为.har文件，这样减少namenode内存使用的同时，仍然允许对文件进行透明的访问。
hadoop Archive目录包含元数据文件（ _index 和 _masterindex）和数据文件（part-*），这个_index文件包含了所有文件的名称和他对应par...]]></description><category></category></item><item><title><![CDATA[【python】视频、图片使用request获取及处理]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/100657343</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/100657343</guid><author>lbf_ML</author><pubDate>Mon, 09 Sep 2019 16:26:20 +0800</pubDate><description><![CDATA[视频获取
通过request
import requests
url = "https://flv.bn.netease.com/videolib3/1703/29/qozNg4588/SD/qozNg4588-mobile.mp4"
res = requests.get(url,stream=True)
with open('a.mp4','wb') as f:
    f.write(res....]]></description><category></category></item><item><title><![CDATA[【特殊字符】 split函数 使用]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/100538718</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/100538718</guid><author>lbf_ML</author><pubDate>Wed, 04 Sep 2019 14:45:14 +0800</pubDate><description><![CDATA[scala 语言

对于name = "(weuiewui)" 分词是如果表达

对于特殊字符均使用\\+特殊字符


name.split("\\(")

hive

语法: split(string str, string pat)
返回值: array
说明: 按照pat字符串分割str，会返回分割后的字符串数组


select split("(asdjaskd)adasda","...]]></description><category></category></item><item><title><![CDATA[【scala】Json与Scala类型的相互转换处理]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/100534942</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/100534942</guid><author>lbf_ML</author><pubDate>Wed, 04 Sep 2019 11:06:05 +0800</pubDate><description><![CDATA[1、头文件
import com.alibaba.fastjson.{JSON, JSONArray, JSONObject}
import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.module.scala.DefaultScalaModule
import net.minidev.json....]]></description><category></category></item><item><title><![CDATA[【自然语言处理】知识图谱]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/100098627</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/100098627</guid><author>lbf_ML</author><pubDate>Tue, 27 Aug 2019 15:04:52 +0800</pubDate><description><![CDATA[语境




分类
详情




物理语境
时间、地点/场所 ; 天气 ; 情绪及情感; 设备显示;  设备感知


言语语境
上下文;主题及焦点;设备反馈


知识语境
人类常识;  领域知识;Agent画像;设备信息库; 用户画像


语境的生命周期
请求级别;会话级别;长期


知识图谱

Thing, not Strings
是一种知识的组织形式
是一种概念模型

关系数据库 ：ER
面向...]]></description><category></category></item><item><title><![CDATA[【广告投放】名称概念]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/100080119</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/100080119</guid><author>lbf_ML</author><pubDate>Mon, 26 Aug 2019 17:18:53 +0800</pubDate><description><![CDATA[【广告投放之名词概念】1、关键词的分类1）品牌词2）产品词3）竞品词4）通用词5）人群词关键词如何选择？投放中应该注意的！2、专有名词解释CPMCPTCPCCPDCPSCPI其他名词解释
1、关键词的分类
使用关键词投放的原因是：定位更多精准受众，并在一定程度上减少甚至是避免无效点击，提升最终的广告转化。而首先明确关键词的分类，对实际的投放设置及后期策略优化具有重要的指导意义。在DSP 推广中，关...]]></description><category></category></item><item><title><![CDATA[【数据仓库】数据仓库的介绍]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/99896505</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/99896505</guid><author>lbf_ML</author><pubDate>Tue, 20 Aug 2019 23:43:24 +0800</pubDate><description><![CDATA[一数据仓库的概念

1什么是数据仓库

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

2数据仓库能干什么？

1）年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。...]]></description><category></category></item><item><title><![CDATA[【spark】spark 原理]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/99880280</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/99880280</guid><author>lbf_ML</author><pubDate>Tue, 20 Aug 2019 22:45:57 +0800</pubDate><description><![CDATA[spark优势：

Spark 是在借鉴了 MapReduce 之上发展而来的，继承了其分布式并行计算的优点并改进了 MapReduce 明显的缺陷，（spark 与 hadoop 的差异）具体如下：

1、Spark 把中间数据放到内存中，迭代运算效率高。MapReduce 中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而 Spark 支持 DAG 图的分布式并行计算的编程框架，减少...]]></description><category></category></item><item><title><![CDATA[【spark】之 spark streaming]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/99878201</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/99878201</guid><author>lbf_ML</author><pubDate>Tue, 20 Aug 2019 20:15:03 +0800</pubDate><description><![CDATA[SparkStreaming

　　Spark Streaming类似于Apache Storm，用于流式数据的处理。Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象操作如：map、reduce、join、window...]]></description><category></category></item><item><title><![CDATA[scala  中 insertinto 插入hive数据数据重复或者乱码或者为空]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/90263172</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/90263172</guid><author>lbf_ML</author><pubDate>Thu, 16 May 2019 14:42:11 +0800</pubDate><description><![CDATA[数据读写

详细看官网：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader



hive数据

读取：


# 读取hive要加enableHiveSupport()，以可以使用hql对hive进行操作
spark = SparkSession.builder.e...]]></description><category></category></item><item><title><![CDATA[hive 和mysql同样的数据group by 之后为什么数据量不一致]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/86599165</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/86599165</guid><author>lbf_ML</author><pubDate>Tue, 22 Jan 2019 18:13:12 +0800</pubDate><description><![CDATA[hive区分大小写，mysql是不区分大小写的。因此会有这种问题]]></description><category></category></item><item><title><![CDATA[scala List 及toList的区别]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/86591864</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/86591864</guid><author>lbf_ML</author><pubDate>Tue, 22 Jan 2019 11:31:57 +0800</pubDate><description><![CDATA[第一种情况 String对象



第二种情况String对象



对象是Array

]]></description><category></category></item><item><title><![CDATA[hive map，arrary ，struct 复杂结构小记]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/86005732</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/86005732</guid><author>lbf_ML</author><pubDate>Mon, 07 Jan 2019 15:26:13 +0800</pubDate><description><![CDATA[1、map结构

定义：map&amp;lt;datatype1,datatype2&amp;gt;  类型1和类型2可以一样
map&amp;lt;string,double&amp;gt;  两种数据类型合成

例子：{“data&quot;:1232.23，”data2&quot;:323.0}

与其他语言一样，是map{key1:value1,key2:value2,...}

访问可以使用列名来访问： select map1['name...]]></description><category></category></item><item><title><![CDATA[Sequential Model-Based Optimization(SMBO)]]></title><link>https://blog.youkuaiyun.com/lbf_ML/article/details/56016252</link><guid>https://blog.youkuaiyun.com/lbf_ML/article/details/56016252</guid><author>lbf_ML</author><pubDate>Mon, 20 Feb 2017 17:16:56 +0800</pubDate><description><![CDATA[GP、SMBO]]></description><category></category></item></channel></rss>