<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[nethub2的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/nethub2</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; nethub2]]></copyright><item><title><![CDATA[Spark 以及 spark streaming 核心原理及实践 - (2)]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84924924</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84924924</guid><author>nethub2</author><pubDate>Sun, 19 Aug 2018 15:45:53 +0800</pubDate><description><![CDATA[
Spark Streaming运行原理
spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。

从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？


需要构建4个东西：


一个静态的 RDD DAG...]]></description><category></category></item><item><title><![CDATA[Spark 以及 spark streaming 核心原理及实践 - (1)]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84924923</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84924923</guid><author>nethub2</author><pubDate>Sun, 19 Aug 2018 15:44:55 +0800</pubDate><description><![CDATA[
导语
spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。
本文依次从:
spark生态，原理，基本概念，
spark streaming原理及实践，
还有spark调优
以及环...]]></description><category></category></item><item><title><![CDATA[推荐系统架构详解]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84920328</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84920328</guid><author>nethub2</author><pubDate>Thu, 10 May 2018 14:33:05 +0800</pubDate><description><![CDATA[
背景介绍：
对于推荐系统，大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时，如在京东上购物，对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢，这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时，你会发现，系统不断动态展现你喜欢的内容，这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中，每个人浏览的内容都是根据个人...]]></description><category></category></item><item><title><![CDATA[Hadoop分布式集群的搭建]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84920300</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84920300</guid><author>nethub2</author><pubDate>Wed, 09 May 2018 17:22:27 +0800</pubDate><description><![CDATA[
https://bigdata.163yun.com/product/article/35
 
本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。
环境：
        系统环境：CentOS7.3.1611 64位
        Java版本：OpenJDK 1.8.0
       ...]]></description><category></category></item><item><title><![CDATA[管理项目干系人时，巧用工具可以事半功倍]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84919911</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84919911</guid><author>nethub2</author><pubDate>Wed, 02 May 2018 00:09:18 +0800</pubDate><description><![CDATA[
管理项目干系人时，巧用工具可以事半功倍（1/3）
[导入案例1]
市民抗议钼铜项目污染环境
2012年6月29日，什邡市西去16公里的灵杰镇上，一块巨大的空地上，一场盛大的奠基典礼在这里举行。四川什邡宏达集团正式宣布将在这里投资104亿元建设钼铜项目生产基地，而作为“5·12”特大地震重灾区的什邡市，亦将通过该项目而获得超40亿元的年利税收入。
等这个项目开工的消息在当地电视播出后，一...]]></description><category></category></item><item><title><![CDATA[sbt仓库设置]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/79691104</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/79691104</guid><author>nethub2</author><pubDate>Sun, 25 Mar 2018 21:45:16 +0800</pubDate><description><![CDATA[sbt 构建 scala 应用&amp;gt; sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later.正如官网所说, sbt是一个为 scala、java 而生的构建工具，在mac上安装十分的方便。bash brew install sbt只要你构建的目录有如下的层级bashsrc/  main/    r...]]></description><category></category></item><item><title><![CDATA[/etc/profile和/root/.bash_profile有什么区别]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84912282</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84912282</guid><author>nethub2</author><pubDate>Sun, 19 Nov 2017 21:37:40 +0800</pubDate><description><![CDATA[
/etc/profile,优先级最高,是全局的，是私有的,用于整个系统所有用户，
~/.bashrc和 ~/.bash_profile, ~/.profile 用于各个用户，这里的&quot;~&quot;符号就是各当前用户的$HOME
~/.bash_profile 和 ~/.profile 只在登陆时读取一次。
~/.bashrc 每次都读取
 
~/.bash_profile 和 ~/.profi...]]></description><category></category></item><item><title><![CDATA[python 结巴分词(jieba)学习]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84911904</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84911904</guid><author>nethub2</author><pubDate>Sat, 11 Nov 2017 18:08:06 +0800</pubDate><description><![CDATA[

目录(?)[-]


jieba
特点
在线演示
安装说明
算法
主要功能

1 分词
2 添加自定义词典

载入词典
调整词典

3 关键词提取

基于 TF-IDF 算法的关键词抽取
基于 TextRank 算法的关键词抽取

基本思想
使用示例

4 词性标注
5 并行分词
6 Tokenize返回词语在原文的起止位置
7 ChineseAnal...]]></description><category></category></item><item><title><![CDATA[大数据高并发系统架构实战方案]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84911517</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84911517</guid><author>nethub2</author><pubDate>Thu, 02 Nov 2017 21:46:43 +0800</pubDate><description><![CDATA[
大数据高并发系统架构实战方案
http://bbs.chinaunix.net/thread-4077840-1-1.html
 
课程简介:                 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。                通过该课程的学习...]]></description><category></category></item><item><title><![CDATA[关于异步化带来的高并发和高吞吐量的分享]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84911516</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84911516</guid><author>nethub2</author><pubDate>Thu, 02 Nov 2017 21:46:14 +0800</pubDate><description><![CDATA[
对于系统的并发量的提高的优化，除了对模块内部性能以及切分，分流等的考虑外，
我把以前做过的开放平台的并发和吞吐量的优化的经验分享一下
 
A、B、C、D之间是分布式调用，统一由http接入A系统

 
 
传统方式：各个系统之间是同步的阻塞调用，包括Http接入也是阻塞式的。
                  当用户并发比较大的时，常见的现象时各个系统线程处于阻塞状态，线程相...]]></description><category></category></item><item><title><![CDATA[Java高并发解决方案]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84911515</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84911515</guid><author>nethub2</author><pubDate>Thu, 02 Nov 2017 21:32:33 +0800</pubDate><description><![CDATA[
 
一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一 般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（主- 从）方式进行同步复制，将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slav...]]></description><category></category></item><item><title><![CDATA[Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84911514</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84911514</guid><author>nethub2</author><pubDate>Thu, 02 Nov 2017 21:31:23 +0800</pubDate><description><![CDATA[
参考网站:http://blog.youkuaiyun.com/zhangheng1225/article/details/8246785
 
有项目需要用到HBase，配置Hadoop集群的情况如下：
OS ： Ubuntu 11.04
Hadoop  2.02
三台虚拟机IP分配如下：
192.168.128.131  master 兼slave
192.168.128.132  slav...]]></description><category></category></item><item><title><![CDATA[下载网页视频的方法：网站视频下载方法技术分享 或者用遨游5浏览器(下载视频)...]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84910156</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84910156</guid><author>nethub2</author><pubDate>Tue, 10 Oct 2017 22:19:16 +0800</pubDate><description><![CDATA[
http://www.pc6.com/infoview/Article_68373.html
 
这是我多年做开发的经验，你不需下载专业软件，几步就可以拿到视频资源。在度娘搜索的时候，大多数方法都是去缓存里面找，这并不是很好的，首先你要清理缓存，一清理，各种登录都没了，也不一定能找到。首先说明，各大专业视频网站（如：优酷，土豆，酷6等）未必好使，他们的视频开发模式特殊，捕获不到。优酷下载你...]]></description><category></category></item><item><title><![CDATA[Hadoop 常见问题总结]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/78177077</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/78177077</guid><author>nethub2</author><pubDate>Sun, 08 Oct 2017 20:15:41 +0800</pubDate><description><![CDATA[http://blog.youkuaiyun.com/huoyunshen88/article/details/9077245




http://cloud.riaos.com/?p=8001390


http://shirley-ren.iteye.com/blog/1174622


出现问题以后先查看日志，以下是常见的错误情况


1 地址占用


org.apa]]></description><category></category></item><item><title><![CDATA[修改android studio的Gradle本地仓库的位置]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84908618</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84908618</guid><author>nethub2</author><pubDate>Mon, 11 Sep 2017 00:06:37 +0800</pubDate><description><![CDATA[

由于Android studio默认使用自带的Gradle
 

 
 
将Gradle的默认目录复制到你期望仓库的盘符
 

 
例:我复制到F盘
 

 
新建环境变量: GRADLE_USER_HOME
 

 
修改之后要重启下系统！！
 
重启之后打开AS查看Gradle发现他的仓库地址改了
 


 
 
 
http://bl...]]></description><category></category></item><item><title><![CDATA[Gradle 修改本地仓库的位置]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84908617</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84908617</guid><author>nethub2</author><pubDate>Sun, 10 Sep 2017 23:57:33 +0800</pubDate><description><![CDATA[
老话，适合的才是最好的。此处不做gradle和maven的比较。只说下我，一个偏执的maven用户如何尝试使用gradle的经验。
我用maven好些年了，自己机器上还搭了个nexus。最近看到有个demo需要gradle才能跑起来，于是打算尝试下。
首先gradle的下载、配置，对一个程序猿来说，这都不是事，如果这都搞不定，可能你有点点不太适合做这一行。Win7下，直接用setx设置环境...]]></description><category></category></item><item><title><![CDATA[手把手教你用Spring Cloud和Docker构建微服务]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84906380</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84906380</guid><author>nethub2</author><pubDate>Wed, 09 Aug 2017 10:36:29 +0800</pubDate><description><![CDATA[
什么是Spring Cloud?
　　Spring Cloud 是Pivotal提供的用于简化分布式系统构建的工具集。Spring Cloud引入了云平台连接器(Cloud Connector)和服务连接器(Service Connector)的概念。云平台连接器是一个接口，需要由云平台提供者进行实现，以便库中的其他模块可以与该云平台协同工作。
　　Spring Boot
　　Spring...]]></description><category></category></item><item><title><![CDATA[ 一句话概括下spring框架及spring cloud框架主要组件]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84903049</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84903049</guid><author>nethub2</author><pubDate>Sat, 01 Jul 2017 18:49:34 +0800</pubDate><description><![CDATA[

spring 顶级项目


Spring IO platform:用于系统部署，是可集成的，构建现代化应用的版本平台，具体来说当你使用maven dependency引入spring jar包时它就在工作了。
Spring Boot:旨在简化创建产品级的 Spring 应用和服务，简化了配置文件，使用嵌入式web服务器，含有诸多开箱即用微服务功能，可以和spring cloud联合部...]]></description><category></category></item><item><title><![CDATA[Spring Boot SLF4J日志实例 / Logback]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84901972</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84901972</guid><author>nethub2</author><pubDate>Sun, 18 Jun 2017 18:12:12 +0800</pubDate><description><![CDATA[
默认情况下，SLF4j日志记录包含在Spring Boot Web应用程序中，只需要启用它就可以了。

注意：查看此Spring Boot Logback XML模板以了解默认的日志记录模式和配置。


SLF4j示例
我们将在接下来的文章中，创建一个项目：web-slf4j-logging，演示这几种常用的日志配置方法。

1. application.properties
要...]]></description><category></category></item><item><title><![CDATA[Spring Boot文件上传示例（Ajax和REST）]]></title><link>https://blog.youkuaiyun.com/nethub2/article/details/84901971</link><guid>https://blog.youkuaiyun.com/nethub2/article/details/84901971</guid><author>nethub2</author><pubDate>Sun, 18 Jun 2017 17:52:48 +0800</pubDate><description><![CDATA[
本文介绍如何使用Ajax请求在Spring Boot Web应用程序(REST结构)中上传文件。
本文中使用的工具：

Spring Boot 1.4.3.RELEASE
Spring 4.3.5.RELEASE
Thymeleaf
jQuery (webjars)
Maven
Embedded Tomcat 8.5.6
Google Chrome浏览器


1. 项目结构
...]]></description><category></category></item></channel></rss>