京东放养的爬虫

来自http://blog.youkuaiyun.com/iefreer/article/details/32715153Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法

对象关系映射（Object Relational Mapping，简称ORM）是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。 简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将java程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 这也同时暗示者额外的执行开销；然而，如果ORM作为一种中间件实现，则会有很多机会做优化，而

算法的庞大让很多人畏惧，程序员如何正确的学习并应用于面试、工作中呢？今天，优快云邀请了IBM软件工程师、百度软件工程师、刷题5年的算法热爱者左程云，来担任优快云社区问答栏目的第二十六期嘉宾，届时会接受广大网友的提问，欢迎各位网友前来与左老师一起交流。左程云，华中科技大学本科（计算机科学与技术）、芝加哥大学硕士（计算机科学）。IBM软件工程师，百度工程师，GrowingIO工程师

在我大四找工作的时候，试图去寻找一份硬件、物联网相关的工作(ps: 专业是电子信息工程)。尽管简历上写得满满的各种经历、经验，然而并没有卵用。跑了几场校园招聘会后，十份简历(ps: 事先已经有心里准备)一个也没有投出去——因为学校直接被拒。我对霸面什么的一点兴趣都没有，千里马需要伯乐。后来，我加入了Martin Flower所在的公司，当然这是后话了。这是一个残酷的世界，在学生时代，如果你

python 能处理数据库中百万行级的数据吗？处理大规模数据时有那些常用的python库，他们有什么优缺点？适用范围如何？来自知乎小伙伴王守崑的回答：需要澄清两点之后才可以比较全面的看这个问题：1. 百万行级不算大数据量，以目前的互联网应用来看，大数据量的起点是10亿条以上。2. 处理的具体含义，如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计

前段时间，ThoughtWorks在深圳举办一次社区活动上，有一个演讲主题叫做“Fullstack JavaScript”，是关于用JavaScript进行前端、服务器端，甚至数据库（MongoDB）开发，一个Web应用开发人员，只需要学会一门语言，就可以实现整个应用。受此启发，我发现Python可以称为大数据全栈式开发语言。因为Python在云基础设施，DevOps，大数据处理等领域都是

伯乐在线小编注：本文综合整理自知乎同名问答帖。题主的问题补充如下：还在读书，也在实验室帮忙做了些东西，自己也搭过几个网站。在周围人看来似乎好像我很厉害，做了那么多东西，但是我发现这些东西虽然是我做的，但是实际上我手把手自己写的代码却并没有多少，很多都是用开源的东西，我写的代码无非是把别人的东西整合下，类似于胶水一样的工作。我之前所认为的编程是全手动一行一行敲代码，但是现在我发现

在线编程网站：1、codepad ： http://codepad.org/该网站只支持英文，支持C/C++/D/Haskell,Lua/OCaml/PHP/Perl/Plain Text/Python/Ruby/Scheme/Tcl，适合于团队合作，代码可生成一个简短的URL。缺点是不支持语法高亮，也无法完成自动缩进功能，同时也无法使用scanf等需要从标准输出中获取值之类的函数

4月13日消息，今天早些时候 Linux 创始人 Linus Torvalds 在 Kernel 的 GitHub Master 中提交了一个改动，将 Kernel 正式从 3 时代带入 4 时代。Linux内核正式进入 4.0 时代。　　Linux 4.0 主要包括以下特性：　　——“实时内核补丁”特性，该特性由 Red Hat 的Kpatch 和 SUSE 的 kGraft 合

作者夏梦竹史蒂夫·乔布斯说过，每个人都应该学习给电脑编写程序的技术，因为这一过程能够教你如何去思考！众所周知，编程已成为开发者生命中至关重要的一部分。很多事实表明，越来越多的人不管男女老少都将参与编程这个行业。 学习编程的渠道有很多种，比如你可以利用一些互动平台或者书籍去学习编程，无论是哪种，只要找到适合自己的就OK。俗话说，光说不练嘴把式，因此，我们还需要进行实践。

这篇文章要介绍的，是我作为专业程序员这些年来学到的能真正提高我的代码质量和整体工作效率的10件事情。1. 永远不要复制代码不惜任何代价避免重复的代码。如果一个常用的代码片段出现在了程序中的几个不同地方，重构它，把它放到一个自己的函数里。重复的代码会导致你的同事在读你的代码时产生困惑。而重复的代码如果在一个地方修改，在另外一个地方忘记修改，就会产生到处是bug，它还会使你的代码体积变得臃肿。

很多朋友可能碰到了这样的问题，用来屏蔽某些恶意网址的时候，修改了hosts 文件，但是却总是不生效。上网搜索了一下，Windows7系统和Vista系统、XP系统都碰到了此类情况，看来问题还很普遍。今天特别附上一则解决办法，未必通杀，但确实是解决了很多这种情况下的问题。解决这个问题之前，我们先来简略谈下hosts文件，很多新手朋友可能还不了解，软媒最早在Vista之家上面曾

单位交的都是五险一金。和户口没有关系。只有个人参加社保，才和户口有差别。城镇职工养老保险不允许一次性补缴    凡是符合条件的城乡居民都可根据自身经济条件自由选择参加“新农保”或城镇职工养老保险。这两种社保在缴纳标准和享受待遇上有较大差别：“新农保”分五档缴费标准，以最高档1200元/年，缴满15年计，到60周岁每月可领取237元（按现行标准）。如到60周岁，未缴满

1986年11月8日，有个叫Aaron Swartz的人在美国芝加哥伊利诺伊州出生。因为他父母创办了一个软件公司，所以，Aaron在3岁的时候就接触到了电脑，然后就着迷了。我们先通过Aaron Swartz 的青少年时期来看一下他是怎么样的一个天才：12岁的时候Aaron就创建了一个类似于Wikipedia式的网站（那时还没有Wikipedia），13岁的时候，Aaron赢得为年轻

幸福笔记“我是真的什么都有，我就是想有什么我都可以买什么，但是我居然这么痛苦，所以我就知道了这个幸福跟这个钱多少真的是没关系，而且钱多的话或者名气大，如果成功，如果你没有管理好你自己往往更容易让你陷入精神的痛苦。”－张朝阳接受杨澜采访时说脑子里经常闪过一些天真的想法，比如：如果我有张朝阳那样的成就和财富，就一定会一辈子开开心心没有烦恼亚克西。虽然非常愚蠢，但我们往往还是会把

来源：法治周末 记者 马树娟　　近两百元的视频网站年度会员资格，只需要区区数元就可以买到；而价值十余元的月度会员资格，甚至只需几分钱……　　此前，湖北用户刘栋（化名）从未意识到：这些以超低价出售视频网站会员账号的QQ群、淘宝店，会同自己有什么关联；直到一次偶尔事件的出现，他才发现——原来自己的账号，也是这个产业链上被黑客觊觎的猎物。　　刘栋以前购买乐视电视时，曾被赠予了两年

某天，我做一个小项目，需要判断一下浏览器类型。简单的呀。控制台敲下：navigator.userAgent浏览器回应：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36天，这串是啥？你怎么连话都说不清楚？

Pythonic到底是什么玩意儿？作者：Martijn Faassen译者：赖勇浩（http://blog.youkuaiyun.com/lanphaday）原文地址：http://faassen.n--tree.net/blog/view/weblog/2005/08/06/0注：Martijn 是 Zope 领域的专家，他为 Zope 系列产品做了许多开发工作，也开发了 lxml 等多个开

就现在经济大环境而言，很不乐观，程序员的日子也很不好过，无论是还在找工作的、还是已经入职多年、哪怕做到项目经理技术经理的，压力都异常巨大，似乎处处充满危机。但是，仔细分析一下，出路还是有的，甚至解决温饱、过上有房有车没贷款的生活也是很可能的。首先，在如今这个浮躁的社会，大多数人的心态也是浮躁的，只要你能潜下心来，深入研究某个技术，有了一技之长，温饱问题肯定就可以先解决了。1.一技之长

来自www.techgogogo.com编者注：本文来自Medium前三名推荐文章，发文时已经获得高达2,125个推荐，中文版由天地会珠海分舵编译。全文对当今风靡业界的“全栈xx师“的说法给以抨击，提出了自己独到的观点。人家庖丁解牛时候就没有听说过用的是瑞士军刀；古人杀鸡的时候也焉用牛刀；一个专业的刀客，用的绝对不是周星驰的那把杀猪刀…现在到处都在提出说自己公司诚招一个全栈xx师，

来自http://blog.youkuaiyun.com/u011225629/article/details/46601839注：腾讯微博做为内部一款战略意义的业务，度过了疯狂扩张布局之后还是黯然退出了舞台，在复盘其业务消退原因之时，还需听听内部员工如何看待。以下为转自腾讯微博离职员工李阳的微信公众号：veyronli2011 年加入腾讯前，我直接没有考虑去聊聊新浪微博。因为我觉得腾讯微博其

来自devstore美国队长：这怎么知道？国防军官：这怎么不知道，21世纪就是本数码书。佐拉教会九头蛇怎么去读它，你的银行记录、病例、投票模式、电子邮件、通话信息、还有大学成绩单...左拉的算法会评估人们的过去，然后预测他们的未来。——《美国队长2》听起来很玄乎，但事实是我们真的正在进入“大数据时代”，支付宝最新上线的“芝麻信用分”就是一个例子。芝麻分的背后是芝麻信用对海量

来自漫谈程序员系列你心里不屑地冒出这句话：标题党，可耻的标题党！ OK ，既然你来了，我们就开始吧。    每个人的身边都有牛人。也许这句话不大准确，应该这么说：每个人的身边都有比自己牛13的人。就这么着吧，寂寞的高高手，也不会来这里看我扯淡，所以就算是无懈可击了吧。    那么，问题来了：为什么别人比我们牛呢？为什么别人运气好呢？气死我啦 

来自DevStore成为优秀的程序员，我需要擅长数学吗?相信很多年轻的程序员也问自己同样的问题。在浏览相关话题时，出现的答案模式被归结为以下三个主要类别：　　· 需要　　· 不需要　　· 看情况貌似「需要」和「不需要」经常带有个人主观偏见，反而显得有点儿草率的反应综合征。为了成为一名优秀的程序员，一个人是否需要擅长数学的问题，可以从哲学和技术两个方面解答

我连发两天微博，怒骂一切不合规矩和不讲道理的人。第一天说的是，巴黎戴高乐机场内，一名中国老人拿出国内惯用的吵闹政策，差点把人家值机柜台砸了，要求不是自己航空公司的值机柜台给自己办票，理由是“要迟到了”，他咆哮大厅的中文，让我羞得抬不起头。第二天说的是，回国以后第一次开车出行，就得怒路症，好想把那些随意变道插队不打方向灯的司机撂倒，太没家教，且让糟糕的城市交通

昨晚跟一位已经奋斗在工作岗位的朋友聊天，他总是一再表示羡慕还处在学生时代的我，我却恨不得挖出一颗赤诚的红心告诉他，我每天被看不完的书和写不完的论文压的喝口水都要喘半天，我才羡慕每天为生活奋斗而领着薪水的他。后来他说，我给你讲个笑话，我从小都以为全国只有清华和北大两所学校，小学升初中的时候，我一直纠结要去上清华还是去上北大，直到初中开学那天我妈带我去城西的一所学校报道，我才知道原来中国是有三所学

来自http://news.paidai.com/12967作者：芜湖SEO舒扬  1.现状和思考   现在，如果在百度里搜索淘宝网，您所看到的结果应该是这样的，“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”这种情况只在使用百度搜索时出现，因为淘宝只针对百度Baiduspider屏蔽，简单点说，除了淘宝网首页，理论上无法在百度中搜索到其他

7月20日，知名音乐分享网站SongTaste在页面上贴出了关闭告示——“在这里，我们很遗憾地宣布：SongTaste为尊重音乐版权，会在一个星期后关闭音乐板块”，同时提醒用户转移重要数据。8月2日，虾米音乐在酷狗声称拥有版权的作品中，显示“所属专辑下架，暂时不能试听”，而张惠妹的《趁早》、《听海》则依然可以试听和下载。7月8日，国家版权局下发了《关于责令网络音乐服务商停止未经授权传播

http://www.me115.com/ 木书架网，有需要多读书笔记，还不错。http://www.zhihu.com/question/20070065 知乎-怎么使用github。http://wiki.ubuntu.org.cn/%E8%B7%9F%E6%88%91%E4%B8%80%E8%B5%B7%E5%86%99Makefile:MakeFile%E4%B

C++是2015年上半年同比增长最快的编程语言，具体为：与去年相比，C++ 增长3.1%、Java 增长2.0%、C#和Python均增长1.6%。C++大幅度增长的原因可能是引入了新的C++11标准，这使得C++被大范围的接受。与此同时，C++ 11标准为C++带来了很多新的特性和提升，包括现在C++编译器GCC 、Visual Studio、EDG都支持了C++的最高标准，

摘要：Jolt Awards奖是计算机软件领域的一系列奖项，类似于电影领域的奥斯卡奖。Jolt评选委员们从众多优秀的编程开发工具里挑选了6款最好的产品；其中Cloud9 IDE最后获得2015 Jolt Award最佳开发工具奖。【编者按】Jolt Awards奖是计算机软件领域的一系列奖项，类似于电影领域的奥斯卡奖。每年的奖项都代表了当年的技术创新和走向。Jolt评选委员们从这些优秀

1】人生的痛苦在于追求错误的东西。所谓追求错误的东西，就是你在无限趋近于它的时候，才猛然发现，你和它是不连续的。 2】人和人就像数轴上的有理数点，彼此可以靠得很近很近，但你们之间始终存在隔阂。  3】人是不孤独的，正如数轴上有无限多个有理点，在你的任意一个小邻域内都可以找到你的伙伴。但人又是寂寞的，正如把整个数轴的无理点标记上以后，就一个人都见不到了。  4】人

高性能计算机是用网络将多台计算机连接在一起，并构成一个统一的系统，从而拥有远超个人电脑的计算能力。这样利用网络，让计算机合作工作的并行系统又称为集群(cluster)。服务器、分布式计算机、超级计算机都是按照集群的方式组成的。集群服务器是指在网络中为客户提供服务的高性能计算机。一台的服务器往往在同一时间接收到大量的客户请求，然后根据请求启动大量的任务，以回应客户请求。由于客

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 前记：偶然读到园子中的“让我头顶发凉的软件质量小故事”，对其中的软件缺陷引发的辐射事故很好奇，可惜作者一只游泳的鱼对事故的描述不很详细。好奇心驱动，做了一些深入的调查。中文报道方面只找到一篇极为简略的人民网简讯。但随后读到的国际原子能机构的详细报告，颇为震撼。

前篇《浏览器野史 UserAgent列传（上）》六、师夷长技前面说到，微软靠Windows系统捆绑IE销售。而Windows自然也有它的对手，Linux。一个技术快速发展的时代，系统的世界里也是战火纷飞。Linux系统自从有了可视化界面，也需要浏览器呀。桌面系统KDE的缔造者们就发明了一个。真是具有跨时代意义的工具呀，好伟大呀，人们在想，它叫什么呢？但大神就是大