<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wgdzz的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wgdzz</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wgdzz]]></copyright><item><title><![CDATA[代码 snippet]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/125235762</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/125235762</guid><author>wgdzz</author><pubDate>Sat, 11 Jun 2022 16:14:47 +0800</pubDate><description><![CDATA[java]]></description><category></category></item><item><title><![CDATA[Hive SQL 代码snippet]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/108295397</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/108295397</guid><author>wgdzz</author><pubDate>Sat, 29 Aug 2020 15:48:09 +0800</pubDate><description><![CDATA[Hive SQL 代码snippet
使用SQL计算gini指数
with balances as (
    select '2018-01-01' as date, balance
    from unnest([1,2,3,4,5]) as balance -- Gini coef: 0.2666666666666667
    union all
    select '2018-01-02' as date, balance
    from unnest([3,3,3,3]) as balan]]></description><category></category></item><item><title><![CDATA[hive数组排序]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/105950594</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/105950594</guid><author>wgdzz</author><pubDate>Wed, 06 May 2020 14:44:04 +0800</pubDate><description><![CDATA[hive数组排序
hive中关于数组内部排序等函数主要有以下两个：
sort_array
sort_array(array(obj1, obj2,…)) - Sorts the input array in ascending order according to the natural ordering of the array elements.
Example:
SELECT sort_ar...]]></description><category></category></item><item><title><![CDATA[Hive Sql 嵌套 case when（if else）]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/88012983</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/88012983</guid><author>wgdzz</author><pubDate>Thu, 28 Feb 2019 09:21:15 +0800</pubDate><description><![CDATA[一般我们使用 hive sql 中的case when是以下两种形式
CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END

CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END

在将xgb模型转化为sql的过程中，用嵌套判断模式，会减少计算量，因此搜索了一下如何在hive中实现嵌套格式的if-else判...]]></description><category></category></item><item><title><![CDATA[解析xgb模型成sql语句]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/87990598</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/87990598</guid><author>wgdzz</author><pubDate>Wed, 27 Feb 2019 21:05:26 +0800</pubDate><description><![CDATA[解析xgb模型成sql语句
xgb是一种功能强大，被广泛使用的树模型。树模型的本质是一组if-else组合。
训练好的xgb模型如何需要对大数据进行运算，往往需要分布式的环境。Hive是我们常用的处理数据的环境，往往一些模型运算也在其中。
我们可以使用以下三种方式，在Hive中计算xgb模型：

使用python tranform的形式，如果没有安装xgb的包，还需要自己解析模型文件；
将xgb模...]]></description><category></category></item><item><title><![CDATA[字符串常见bug和解决方法]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/80574169</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/80574169</guid><author>wgdzz</author><pubDate>Mon, 04 Jun 2018 22:24:11 +0800</pubDate><description><![CDATA[字符串常见bug和解决方法



字符串常见bug和解决方法
1. 不可见字符串bug






编程很多时候就是和字符串打交道，字符串也经常让人头疼。 
字符串编码主要遇到两类问题，一类是编码导致的乱码问题，如果有中文，最好全部统一为UTF-8格式，同时注意区分UTF-8有BOM和无BOM的情况。二类问题是一些特殊字符导致的，是否需要转义，或者一些不可见字符导致的问题。 
这篇博客中将陆续记录...]]></description><category></category></item><item><title><![CDATA[用Python编写Hadoop下MapReduce程序]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/51182855</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/51182855</guid><author>wgdzz</author><pubDate>Mon, 18 Apr 2016 21:10:14 +0800</pubDate><description><![CDATA[标签（空格分隔）： Hadoop MapReduce Python本文是作者学习MapReduce编程的记录，几乎翻译自文章《Writing an Hadoop MapReduce Program in Python》。不当之处，还望海涵，多多指点。Hadoop提供了Hadoop Streaming API，可以通过标准输入输出帮助我们在Map和Reduce代码之间传递数据。因此我们可以使用Pyth]]></description><category></category></item><item><title><![CDATA[#1032 : 最长回文子串]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/51181824</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/51181824</guid><author>wgdzz</author><pubDate>Mon, 18 Apr 2016 18:43:00 +0800</pubDate><description><![CDATA[标签（空格分隔）： hihocoder原题目：#1032 : 最长回文子串这道题暴力破解的复杂度是O(n3)O(n^3)，记忆搜索和动态规划时间复杂度可以降到O(n2)O(n^2)，但是空间复杂度太高。 
Manacher’s Algorithm算法时间空间复杂度都是O(n)O(n)，leetcode有两篇博文，讲述的很是清楚。 
Longest Palindromic Substring Part]]></description><category></category></item><item><title><![CDATA[#1037 : 数字三角形]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/51171572</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/51171572</guid><author>wgdzz</author><pubDate>Sun, 17 Apr 2016 08:14:59 +0800</pubDate><description><![CDATA[#1037 : 数字三角形是一道动态规划，需要一个二维数组去存储中间信息。动态规划的理解可以参考笔者另一篇博文hihicoder #1038 : 01背包。上面引用了知乎的回答。 
　　题目中的三点提示： 
提示一：盲目贪心不可取，搜索计算太耗时 
提示二：记忆深搜逞神威，宽度优先解难题 
提示三：总结归纳提公式，减少冗余是真理这道题贪心算法无法达到全局最优，搜索主要分深度搜索和跨度搜索。普通搜索就]]></description><category></category></item><item><title><![CDATA[读刘未鹏老大《你应当如何学习C++(以及编程)》]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/51167130</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/51167130</guid><author>wgdzz</author><pubDate>Sat, 16 Apr 2016 11:41:52 +0800</pubDate><description><![CDATA[标签（空格分隔）： 三省吾身原文地址：你应当如何学习C++(以及编程)　　本人反思自己这些年在学校学得稀里糊涂半灌水。看到这篇文章，感觉收获不少。仿佛有指明自己道路的感觉，当然真正困难的还是坚持学习，多动手实践。 
　　但是这篇文章确实对于纠结知识细节还是看抽象理论给出了指导意义。麻省理工大学的《计算机科学及编程导论》课程上，Eric Grimson开篇就说到这本课不仅教授如何编程让电脑做一些事情，]]></description><category></category></item><item><title><![CDATA[简易Shell]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/51013603</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/51013603</guid><author>wgdzz</author><pubDate>Wed, 30 Mar 2016 13:25:14 +0800</pubDate><description><![CDATA[简易Shell
出处：课程《Unix高级环境编程》 
扩展书籍《Unix环境高级编程》的例1.5、1.8
功能需求 
程序从控制台执行，启动后显示一个命令提示符“->”。用户可以通过给特定的环境变量赋值来改变命令提示符形式。
通过某个特殊的命令或按键组合可以正常地关闭本程序。
提供后台运行机制。用户提交的任务可以通过某种指示使之在后台运行，例如-> bg job1 将使任务job1在后台运行，并马上]]></description><category></category></item><item><title><![CDATA[# hihocoder #1197 : Give My Text Back]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/49230739</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/49230739</guid><author>wgdzz</author><pubDate>Sun, 18 Oct 2015 20:46:13 +0800</pubDate><description><![CDATA[hihocoder #1197 : Give My Text Back标签（空格分隔）： hihocoder题目：
  Time Limit:10000ms 
  Case Time Limit:1000ms 
  Memory Limit:256MB
  
  Description 
  To prepare for the English exam Little Ho collected ma]]></description><category></category></item><item><title><![CDATA[# hihocoder #1093 : 最短路径·三：SPFA算法]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48912665</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48912665</guid><author>wgdzz</author><pubDate>Mon, 05 Oct 2015 10:28:24 +0800</pubDate><description><![CDATA[hihocoder #1093 : 最短路径·三：SPFA算法标签（空格分隔）： hihocoder1093 : 最短路径·三：SPFA算法　　对于稀疏图，边的数目远小于N^2(其中，N指顶点数）。因此邻接矩阵中会有大量的“表示”此边不存在的元素，不仅浪费了空间，也降低了效率。这里参考《算法竞赛入门经典》中第11章用矩阵来表示邻接表（Adjacency List）。算法实现参照其11.2.4节。这种]]></description><category></category></item><item><title><![CDATA[# hihocoder #1089 : 最短路径·二：Floyd算法]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48898353</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48898353</guid><author>wgdzz</author><pubDate>Sun, 04 Oct 2015 19:24:48 +0800</pubDate><description><![CDATA[hihocoder #1089 : 最短路径·二：Floyd算法标签（空格分隔）： hihocoder这道题和上一篇博客＃hihocoder　#1081 : 最短路径·一几乎差不多，不过是求所有两点之间的最短距离，用Dijkstra算法我们可以调用多次…比较麻烦低效，Floyd-Warshall算法，可以解决我们对这道题的幻想。 
其中Bignum设置的关键是不能太小，太大似乎也不好，代码38行有溢]]></description><category></category></item><item><title><![CDATA[＃hihocoder　#1081 : 最短路径·一]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48896963</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48896963</guid><author>wgdzz</author><pubDate>Sun, 04 Oct 2015 16:14:51 +0800</pubDate><description><![CDATA[hihocoder #1081 : 最短路径·一标签（空格分隔）： hihocoder　　笔试的时候遇到一道题，需要用到最短路径算法，之前虽然学过，但是一点不熟悉，搞了半天，最后还落得一个超时的下场。　　图文并茂的详细算法内容可见：Dijkstra算法　　这里的Dijkstra算法描述是基于邻接矩阵，对图的更省空间的描述是邻接表。稀疏图用矩阵很比较浪费空间。此处的图指无向图且权值为正的情况。权值为负]]></description><category></category></item><item><title><![CDATA[逻辑回归梯度下降公式详细推导]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48816307</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48816307</guid><author>wgdzz</author><pubDate>Wed, 30 Sep 2015 00:40:57 +0800</pubDate><description><![CDATA[标签（空格分隔）： 机器学习　　在一次面试中被问道了逻辑回归公式的推导，虽然知道原理，但是从来未从头到尾推导过，面试时估计有点困，又不完全熟悉，又略有紧张（借口找的齐全了…）。面试官还算仁慈，没有太严格。但是自己还是应该会熟练掌握才对的…写此博客，以备复习。　　假设hθ(x)=11+exp(−θTx)h_{\theta}(x) = \frac{1}{1+exp(-\theta^T x)}，且(x(i]]></description><category></category></item><item><title><![CDATA[# hihicoder #1038 : 01背包]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48807159</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48807159</guid><author>wgdzz</author><pubDate>Tue, 29 Sep 2015 15:21:40 +0800</pubDate><description><![CDATA[hihicoder #1038 : 01背包标签（空格分隔）： hihocoder经典的01背包问题。主要考察动态规划，自己太渣，动态规划认识的肤浅，下面整理了知乎大神一些关于动态规划的解释，有兴趣的朋友也可以直接上知乎看看。 
什么是动态规划？动态规划的意义是什么？知乎答案整理王勐： 
动态规划的本质不在于是递归或是递推，也不需要纠结是不是内存换时间。 
理解动态规划并不需要数学公式介入，首先需要]]></description><category></category></item><item><title><![CDATA[#hihocoder #1135 : Magic Box]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48804631</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48804631</guid><author>wgdzz</author><pubDate>Tue, 29 Sep 2015 11:24:04 +0800</pubDate><description><![CDATA[hihocoder #1135 : Magic Box标签（空格分隔）： hihocoder1135 : Magic BoxDescription
  The circus clown Sunny has a magic box. When the circus is performing, Sunny puts some balls into the box one by one. The bal]]></description><category></category></item><item><title><![CDATA[梯度下降法的简单理解]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48804599</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48804599</guid><author>wgdzz</author><pubDate>Tue, 29 Sep 2015 11:21:59 +0800</pubDate><description><![CDATA[梯度下降法　　梯度下降法（gradient descent）或最速下降法（steepest descent）是求解无约束最优化问题的一种最常用的方法。 
负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。 
假设f(x) f(x) 在Rn R_n 上具有一阶连续偏导数，要求解的无约束最优化问题是： 
minx∈Rnf(x)\min\limits_{]]></description><category></category></item><item><title><![CDATA[# hihocoder #1082 : The Marshtomp has seen it all before]]></title><link>https://blog.youkuaiyun.com/wgdzz/article/details/48572655</link><guid>https://blog.youkuaiyun.com/wgdzz/article/details/48572655</guid><author>wgdzz</author><pubDate>Sat, 19 Sep 2015 09:51:27 +0800</pubDate><description><![CDATA[标签（空格分隔）： hihocoder题目：#1082 : The Marshtomp has seen it all before
  Description
  
  
    fjxmlhx is fed up with endless marshtomps on the internet. So he turns to you to write a program to change all]]></description><category></category></item></channel></rss>