<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wtq1993的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wtq1993</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wtq1993]]></copyright><item><title><![CDATA[httrack使用]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/54729436</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/54729436</guid><author>wtq1993</author><pubDate>Wed, 25 Jan 2017 13:48:44 +0800</pubDate><description><![CDATA[(1)httrack "http://www.bnu.edu.cn/" -O /media/wtq/000B8D9100080809/develop/workspace/httrack/bnu_test -n -* +*.pdf +www.bnu.edu.cn/somedynamicscript.php -mime:*/* +mime:application/pdf -v]]></description><category></category></item><item><title><![CDATA[ubuntu14.04 安装 paramkio]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/54707765</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/54707765</guid><author>wtq1993</author><pubDate>Tue, 24 Jan 2017 14:47:17 +0800</pubDate><description><![CDATA[paramkio是个python库实现了ssh协议，利用这个库可以实现ssh远程链接并执行远程命令。
安装中可以使用 pip install paramiko，安装后使用时会提示importerror no module named cryptography.hazmat.backends ，此时使用 pip install cryptography来安装这个依赖，安装此依赖时还会提示No pa]]></description><category></category></item><item><title><![CDATA[CDH 安装中遇到的问题]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/53127623</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/53127623</guid><author>wtq1993</author><pubDate>Fri, 11 Nov 2016 12:01:14 +0800</pubDate><description><![CDATA[1.  界面上显示检测不到JDK或者命令行中执行hadoop命令找不到JAVA_HOME,这时要在 /etc/sudoers/ 中加入Defaults env_keep+=JAVA_HOME。在新建/etc/default/bigtop-utils  在其中加入 export JAVA_HOME=java的路径，再source 刷新一下。]]></description><category></category></item><item><title><![CDATA[安装Apache Kylin时遇到的问题]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/53088968</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/53088968</guid><author>wtq1993</author><pubDate>Tue, 08 Nov 2016 21:59:32 +0800</pubDate><description><![CDATA[一：当在ubuntu下执行check_env.sh时遇到问题：
KYLIN_HOME is set to /usr/local/apache-kylin-1.5.4.1-bin cat: invalid option -- '1' Try 'cat --help' for more information. -mkdir: Not enough arguments: expected 1 but]]></description><category></category></item><item><title><![CDATA[简明网络I/O模型---同步异步阻塞非阻塞之惑]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/53053401</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/53053401</guid><author>wtq1993</author><pubDate>Sun, 06 Nov 2016 11:04:10 +0800</pubDate><description><![CDATA[网络I/O模型
人多了，就会有问题。web刚出现的时候，光顾的人很少。近年来网络应用规模逐渐扩大，应用的架构也需要随之改变。C10k的问题，让工程师们需要思考服务的性能与应用的并发能力。
网络应用需要处理的无非就是两大类问题，网络I/O，数据计算。相对于后者，网络I/O的延迟，给应用带来的性能瓶颈大于后者。网络I/O的模型大致有如下几种：

同步模型（synchronous I/O）
]]></description><category></category></item><item><title><![CDATA[Socket通信原理简介]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/53053385</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/53053385</guid><author>wtq1993</author><pubDate>Sun, 06 Nov 2016 11:01:50 +0800</pubDate><description><![CDATA[Socket通信原理简介
字数813 阅读4009 评论3 喜欢17


何谓socket
计算机，顾名思义即是用来做计算。因而也需要输入和输出，输入需要计算的条件，输出计算结果。这些输入输出可以抽象为I/O（input output）。
Unix的计算机处理IO是通过文件的抽象。计算机不同的进程之间也有输入输出，也就是通信。因此这这个通信也是通过文件的抽象文件描述符来进行。
在同一]]></description><category></category></item><item><title><![CDATA[高性能IO模型浅析]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52993122</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52993122</guid><author>wtq1993</author><pubDate>Tue, 01 Nov 2016 09:59:16 +0800</pubDate><description><![CDATA[高性能IO模型浅析
 
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：
（1）同步阻塞IO（Blocking IO）：即传统的IO模型。
（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。
（3）IO多路复用（IO Mu]]></description><category></category></item><item><title><![CDATA[构造算法的思维过程]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52910319</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52910319</guid><author>wtq1993</author><pubDate>Mon, 24 Oct 2016 11:51:13 +0800</pubDate><description><![CDATA[相信大部分同学曾经都学习过快速排序、Huffman、KMP、Dijkstra等经典算法，初次学习时我们惊叹于算法的巧妙，同时被设计者的智慧所折服。于是，我们仔细研读算法的每一步，甚至去证明算法的正确性，或者是去尝试优雅地实现这些算法。总之，我们会花费很大的时间精力去理解这些智慧的结晶。
然而，现在对于这些经典的算法你仍然了然于胸吗？就算现在你仍然记得这些算法的步骤，你敢确保一年后、十年后自己不会]]></description><category></category></item><item><title><![CDATA[Linux IO模式及 select、poll、epoll详解]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52753963</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52753963</guid><author>wtq1993</author><pubDate>Sat, 08 Oct 2016 09:33:02 +0800</pubDate><description><![CDATA[t同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。
本文讨论的背景是Linux环境下的network IO。

一 概念说明
在进行解释之前，首先要说明几个概念：
- 用户空间和内核空间
- 进程切换
- 进程的阻塞
- 文件描述符
- 缓存 I/O
用户空间与内核空间
现在操作系统都是]]></description><category></category></item><item><title><![CDATA[python decode encode问题]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52737602</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52737602</guid><author>wtq1993</author><pubDate>Wed, 05 Oct 2016 10:21:27 +0800</pubDate><description><![CDATA[为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal
 not in range(128)”？本文就来研究一下这个问题。
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（deco]]></description><category></category></item><item><title><![CDATA[集体智慧和协同过滤]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52473191</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52473191</guid><author>wtq1993</author><pubDate>Thu, 08 Sep 2016 16:58:24 +0800</pubDate><description><![CDATA[首页
最新文章
经典回顾
开发
设计
IT技术
职场
业界
极客
创业
访谈
在国外


伯乐在线 >
首页 > 
所有文章 > 
IT技术 > 协同过滤（CF）算法详解和实现


协同过滤（CF）算法详解和实现


2016/06/24 · 
IT技术 · 
协同过滤, 
推荐系统, 算法

分享到：8




数据结构探险—栈篇]]></description><category></category></item><item><title><![CDATA[SparkSQL与Hive on Spark的区别与联系]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52441420</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52441420</guid><author>wtq1993</author><pubDate>Mon, 05 Sep 2016 16:37:55 +0800</pubDate><description><![CDATA[简要介绍了SparkSQL与Hive on Spark的区别与联系


一、关于Spark
简介
在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。


架构
Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。



Spark特点

Spark可以部署在]]></description><category></category></item><item><title><![CDATA[hive on spark VS SparkSQL VS hive on tez]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52435563</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52435563</guid><author>wtq1993</author><pubDate>Sun, 04 Sep 2016 23:06:33 +0800</pubDate><description><![CDATA[hive on spark VS SparkSQL VS hive
 on tez

前一篇已经弄好了SparkSQL，SparkSQL也有thriftserver服务，这里说说为啥还选择搞hive-on-spark：


SparkSQL-Thriftserver所有结果全部内存，快是快，但是不能满足查询大量数据的需求。如果查询几千万的数据，SparkSQL是搞不定的。而hive-o]]></description><category></category></item><item><title><![CDATA[Socket鏈接與Http鏈接的區別]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52435075</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52435075</guid><author>wtq1993</author><pubDate>Sun, 04 Sep 2016 21:51:54 +0800</pubDate><description><![CDATA[首先一定要明白：
HTTP协议：简单对象访问协议，对应于应用层  ，HTTP协议是基于TCP连接的
tcp协议：    对应于传输层
ip协议：     对应于网络层  
TCP/IP是传输层协议，主要解决数据如何在网络中传输；而HTTP是应用层协议，主要解决如何包装数据。
Socket是对TCP/IP协议的封装，Socket本身并不是协议，而是一个调用接口（API），通过Socket，]]></description><category></category></item><item><title><![CDATA[linux下查看哪个端口被哪个进程占用]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52424921</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52424921</guid><author>wtq1993</author><pubDate>Sat, 03 Sep 2016 19:28:05 +0800</pubDate><description><![CDATA[比如我们要查看50070的端口被哪个进程占用，先使用sudo netstat -ap|grep 50070 ,这时可以得出 由哪个进程号占用了50070端口，再由该pid号aaaa，使用ps -aux|grep aaaa 来得出该进程号对用的进程。]]></description><category></category></item><item><title><![CDATA[深度解析mysql登錄原理]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52331732</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52331732</guid><author>wtq1993</author><pubDate>Fri, 26 Aug 2016 21:14:53 +0800</pubDate><description><![CDATA[使用mysql数据库的第一步必然是建立连接登录，然后在上面执行SQL命令。无论是通过mysql的客户端，还是通过C-API，JDBC标准接口连接数据库，这个过程一定少不了。今天我们聊一聊mysql登陆具体过程，里面会涉及client与server的交互，并通过tcpdump抓包给大家展现这一过程。
TCP握手协议
      远程连接数据库，mysql采用TCP协议通信，第一步是建立连接，即T]]></description><category></category></item><item><title><![CDATA[hive與hadoop交互過程]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52331404</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52331404</guid><author>wtq1993</author><pubDate>Fri, 26 Aug 2016 20:11:34 +0800</pubDate><description><![CDATA[Hive有三种用户接口：





cli (Command line interface)



bin/hive或bin/hive –service cli



命令行方式（默认）





hive-server/hive-server2



bin/hive –service hiveserver 或bin/hive –service h]]></description><category></category></item><item><title><![CDATA[运行hadoop jar 报错java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper及mapreduce执行]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52269596</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52269596</guid><author>wtq1993</author><pubDate>Sun, 21 Aug 2016 21:31:40 +0800</pubDate><description><![CDATA[最近做hadoop集群试验，用的hadoop1.0.2，遇到这么个问题，将写好的jar包，放到linux上后，执行hadoop jar hadoopTest.jar test.XXXCount  input output 后，
运行时，会报下面的警告

WARN mapred.JobClient: No job jar file set. 
User classes may not be ]]></description><category></category></item><item><title><![CDATA[Hive 元數據詳細介紹]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52235379</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52235379</guid><author>wtq1993</author><pubDate>Wed, 17 Aug 2016 22:30:59 +0800</pubDate><description><![CDATA[本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。
文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎么生成和存储的。
13.1 存储Hive版本的元数据表（VERSION）
该表比较简单，但很重要。




VER_ID

SCHEMA_VERSION

VERSION_COMMENT



ID主键

Hive版本

]]></description><category></category></item><item><title><![CDATA[如何提高人脸检测速度]]></title><link>https://blog.youkuaiyun.com/wtq1993/article/details/52180006</link><guid>https://blog.youkuaiyun.com/wtq1993/article/details/52180006</guid><author>wtq1993</author><pubDate>Thu, 11 Aug 2016 10:07:38 +0800</pubDate><description><![CDATA[首先，我承认这个题目有点标题党。之所以写这篇，因为发现微信微博上有很多公司介绍他们的技术，但都是说如何如何牛，但缺少技术细节，对读者帮助有限。因此写一点相对干货多的东西，希望能帮助大家。如有谬误，也请大家多加指正。
 
下面的内容适合正在用Boosting方法做目标检测的读者，也适合对提升算法速度感兴趣的读者。下面的这些内容，都已经应用到我们的人脸检测算法中，对于提升算法速度发挥了巨大作用。O]]></description><category></category></item></channel></rss>