<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wang_306的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wang_306</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wang_306]]></copyright><item><title><![CDATA[在REHL6.7上安装gcc 4.9.3过程]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/99675003</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/99675003</guid><author>wang_306</author><pubDate>Fri, 16 Aug 2019 17:49:57 +0800</pubDate><description><![CDATA[背景：由于公司服务器上使用的是REHL6.7，环境离线，且为生产环境，尝试在上面安装infomap这个包时报gcc的版本不对，又不能动生产环境上的gcc版本，只能想着离线拉一个和生产版本一致的系统把环境安装好后再迁移过去

系统环境准备
通过docker search查找REHE找到如下镜像
刚好有个版本一致的6.7的，通过pull命令拉下来后大概600M多。
Python环境准备
里面默认的版...]]></description><category></category></item><item><title><![CDATA[spark使用独立的Python环境提交任务]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/97756295</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/97756295</guid><author>wang_306</author><pubDate>Tue, 30 Jul 2019 10:31:09 +0800</pubDate><description><![CDATA[背景

由于需要在公司的大数据平台上使用自己的Python环境，折腾了很久，特此记录

先说几个坑：

需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本；
由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：htt...]]></description><category></category></item><item><title><![CDATA[pyspark中timestamp字段类型过滤的细节]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/97004479</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/97004479</guid><author>wang_306</author><pubDate>Tue, 23 Jul 2019 16:34:00 +0800</pubDate><description><![CDATA[背景
假设存在以下数据，且time_stamp列的schema为TimeStamp




time_stamp
Feature




2019-07-22 00:00:00.044
A


2019-07-22 00:00:00.056
B


2019-07-22 00:00:01.090
B


2019-07-22 00:00:01.099
A


2019-07-22 00:00:02...]]></description><category></category></item><item><title><![CDATA[pyspark下kafka+streaming落地数据到HIVE中]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/94576491</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/94576491</guid><author>wang_306</author><pubDate>Wed, 03 Jul 2019 17:24:19 +0800</pubDate><description><![CDATA[网上查找的kafka通过spark streaming落地到HIVE的方案一般都是Scala写的，为此碰到了很多的坑，特此记录一下使用pyspark来实现实时落地到HIVE的方案

说在前面
spark Streaming 接受kafka的数据落地HIVIE有2个原生的问题

偏移量管理问题：一般建议都是使用直连的方式连接kafka，而不是接收器的方式，所以需要直接来管理偏移量
小文件问题：每个...]]></description><category></category></item><item><title><![CDATA[pyspark中如何使用sql windows函数进行时间窗口的计算]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/90603902</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/90603902</guid><author>wang_306</author><pubDate>Mon, 27 May 2019 15:10:40 +0800</pubDate><description><![CDATA[在实际业务中，在某一行的计算需要利用到改行前后的一些信息，例如，当前时间前1天内的汇总，或当前时间前1h的最大值和当前值的差值等等

在spark 1.4之后，提供了sql.windows函数，其形如：
from pyspark.sql import Window
&gt;&gt;&gt; window = Window..partitionBy("country").orderBy("date...]]></description><category></category></item><item><title><![CDATA[Mac下Gephi报内存溢出的错误修改方法]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/88641388</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/88641388</guid><author>wang_306</author><pubDate>Mon, 18 Mar 2019 16:14:24 +0800</pubDate><description><![CDATA[网上一般能搜到gephi报内存溢出的错误修改方法，就是改/etc/gephi.conf这个文件，但是mac下的这个文件是处在 /Applications/Gephi.app/Contents/Resources/gephi/etc下的，与其他系统的不同。至于修改方法都是一样的：
# command line switches
default_options=“–branding gephi -J-...]]></description><category></category></item><item><title><![CDATA[在pyspark上实践graphframes的邻居汇聚函数AggregateMessages]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/88189104</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/88189104</guid><author>wang_306</author><pubDate>Tue, 05 Mar 2019 16:47:10 +0800</pubDate><description><![CDATA[在调试graphframes中应用邻居汇聚函数AggregateMessages，该函数用于收集各个顶点的邻居信息，并使用一定的逻辑处理这些收集起来的信息，网上使用Python来应用该函数的资料非常少，唯一好一点的是github上的一个该函数的测试用例，如下：
def test_aggregate_messages(self):
        g = self._graph(&quot;friends&quot;)...]]></description><category></category></item><item><title><![CDATA[mac graphX通过python调用]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/88065139</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/88065139</guid><author>wang_306</author><pubDate>Fri, 01 Mar 2019 18:09:32 +0800</pubDate><description><![CDATA[spark中的GraphX模块是没法直接通过python的接口调用的，都是直接使用的Scala，这对只熟悉python的人来说太痛苦了，并且Scala中的基础数据结构也是RDD，通过RDD来描述点和边，但做数据分析的话，明显对Spark 的DataFrame更熟悉一些，所以就研究怎样用python来调用GraphX模块。
查了很多资料，总的来说是通过应用graphFrames这个Apache的包，...]]></description><category></category></item><item><title><![CDATA[使用部分异常观测数据进行异常检测（翻译自 Anomaly Detection with Partially Observed Anomalies）]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/86528255</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/86528255</guid><author>wang_306</author><pubDate>Thu, 17 Jan 2019 18:08:40 +0800</pubDate><description><![CDATA[
导语：这篇文章是蚂蚁金服2018年在WWW大会上投中的一篇paper，介绍如果使用少量标注的异常样本进行模型训练，也就是常说的半监督模型，刚好最近在做这个方面的内容，将其翻译过来备查。

摘要
本文研究了异常检测问题。以往的研究大多依据是否有标签来使用有监督或无监督方法，
可用。但是，总是存在一些不同于这两种标准模式的场景。本文中，我们处理了存在部分观测异常的场景，即我们拥有大量未标记的样本和一...]]></description><category></category></item><item><title><![CDATA[Excel 中列出所有满足条件的项]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/46722811</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/46722811</guid><author>wang_306</author><pubDate>Thu, 02 Jul 2015 10:13:49 +0800</pubDate><description><![CDATA[Excel中从一个总表中，列出所有满足条件的项，用来做二级联动列表的数据源：
数组公式为：
=INDEX(D:D,SMALL(IF($F$2:$F$255=$G$1,ROW($F$2:$F$255),65536),ROW(1:1)))&""

其中，D列为提取数据的列，F列为标记列，G1为指定的条件


但是，数据源中存在空行，下拉列表不美观，所以使用
=INDIRECT("对照表]]></description><category></category></item><item><title><![CDATA[VBA 中COMBOBOX下拉列表的收起]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/45396091</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/45396091</guid><author>wang_306</author><pubDate>Thu, 30 Apr 2015 16:07:48 +0800</pubDate><description><![CDATA[在使用VBA的COMBOBOX组件的时候，想制作一个点击单元格即自己弹出下拉列表，点击其它单元格更改COMBOBOX的位置，同样的弹出下拉列表的功能，遇到了这样的一个问题：
COMBOBOX提供了DROPDOWN的方法，但是却没有提供收起列表的方法，所以如果你点击了第一个单元格，自动弹出列表，并且你没有选择其中任何一项的时候，再点击第二个单元格，下拉列表是不会自己收起来的……
在网上也搜了很多]]></description><category></category></item><item><title><![CDATA[预装win8下安装win7系统]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/41989449</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/41989449</guid><author>wang_306</author><pubDate>Wed, 17 Dec 2014 22:18:17 +0800</pubDate><description><![CDATA[今天在win8下安装win7系统，遇到一系列的问题，现记录如下：
1、进F1改bios时，win8下的bios需要做如下更改：
1、Secure Boot   改为： [Disabled]    
2、进入Startup—UEFI/Legacy Boot选项 /Legacy Boot选项选择成Both

3、UEFI/Legacy Boot Priority选择成legacy First。]]></description><category></category></item><item><title><![CDATA[建站日记]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/41853531</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/41853531</guid><author>wang_306</author><pubDate>Wed, 10 Dec 2014 21:46:50 +0800</pubDate><description><![CDATA[建站日记
为了记录建立网站的过程，防止日后的重复工作，特此记录




2014/12/10
         1、网站的初始设置
          一个网站要是别人能够访问，首先要设置自己的电脑能够提供这项服务，在  控制面板  里，程序里 打开或者关闭windows功能里将Internet 信息服务这一栏全部勾选，（据说，只需要部分勾选，但免除麻烦，还是全部勾选），如图]]></description><category></category></item><item><title><![CDATA[project Euler52题的matlab解法]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/38848059</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/38848059</guid><author>wang_306</author><pubDate>Tue, 26 Aug 2014 15:17:44 +0800</pubDate><description><![CDATA[clc
clear
for i = 1:1E6
    flag = 1;
    test_i = cell(5,1);
    for j = 1:5
        str = num2str(i*(j+1));
        test_i{j} = str;
    end
    i_str = sort(num2str(i));
    
    for k=1]]></description><category></category></item><item><title><![CDATA[matlab使用灰度关联来判断两个图形的相似度]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/38796791</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/38796791</guid><author>wang_306</author><pubDate>Sun, 24 Aug 2014 15:57:34 +0800</pubDate><description><![CDATA[特此记录]]></description><category></category></item><item><title><![CDATA[matlab中uitable 的一些使用说明]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/38511209</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/38511209</guid><author>wang_306</author><pubDate>Tue, 12 Aug 2014 10:06:54 +0800</pubDate><description><![CDATA[最近在使用matlab的uitable控件，发现了一些问题，特此记录

1、matlab的uitable控件是分版本的，我当前使用的7.11.0（matlab R2010b）和之前版本的uitable控件是不一样的，之前的版本中调用方法为（在当前使用的版版本使用如下命令也会得到以前版本的uitable）

 


uitable（C,R)

 

其中C为行，R为列。使用get方法取出数据后类型为...]]></description><category></category></item><item><title><![CDATA[matlab如何使用jdbc和mysql数据库连接]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/37818681</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/37818681</guid><author>wang_306</author><pubDate>Tue, 15 Jul 2014 16:53:24 +0800</pubDate><description><![CDATA[安装mysql的驱动包]]></description><category></category></item><item><title><![CDATA[matlab 使用百度POI函数批量提取地址]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/25693759</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/25693759</guid><author>wang_306</author><pubDate>Tue, 13 May 2014 11:01:27 +0800</pubDate><description><![CDATA[有时候在百度地图上搜某个点附近的]]></description><category></category></item><item><title><![CDATA[matlab 如何使用urlread函数抓取赶集网上的租房信息]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/25691227</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/25691227</guid><author>wang_306</author><pubDate>Tue, 13 May 2014 10:46:05 +0800</pubDate><description><![CDATA[最近在研究urlread函数，并]]></description><category></category></item><item><title><![CDATA[matlab 如何使用代理服务器 使用urlread函数]]></title><link>https://blog.youkuaiyun.com/wang_306/article/details/25553219</link><guid>https://blog.youkuaiyun.com/wang_306/article/details/25553219</guid><author>wang_306</author><pubDate>Sun, 11 May 2014 17:10:36 +0800</pubDate><description><![CDATA[官网给出的解决方法如下：
Solution:
To configure your proxy settings in MATLAB:

1) Launch MATLAB
2) Select the "File" menu
3) Select "Preferences..."
4) Select "Web"
5) Check the box labelled "Use a proxy]]></description><category></category></item></channel></rss>