manongpengzai的博客

什么是spark?首先翻译spark官方文档的介绍：Apache Spark是一个快速的、广泛适用的集群计算系统，它提供高层次的Java、Scala、Python和R的API，以及支持常规执行图的优化引擎。它同样还支持许多高层次的工具，如Spark SQL，可以用来实现SQL和结构化数据处理；MLlib，用来实现机器学习算法；GraphX，用于图处理；Spark Streaming等。...

Graph 构建与Session过程：1 尽量使用变量，而不要使用常量：    在tensorflow中，常量是作为op存在图中，会没必要的占用很多内存，如果使用变量，只会在session中根据实际需求，动态分配内存2 将所有节点和op提前定义在静态图中，而不要在session中重新添加新的op（lazy loading)   tensorflow有对于静态图计算的优化，每个op只...

spark使用常识性能调优1 shuffle  a 宽窄依赖的说明  b shuffle原理以及如何优化shuffle   c 如何避免数据倾斜2 join    a 字符串与数组转化  大数据下的思维方式与内存管理...

众所周知，在设计爬虫时，最麻烦的一步就是对网页元素进行分析，目前流行的网页元素获取的工具有BeautifulSoup，lxml等，而据我使用的体验而言，Scrapy的元素选择器Xpath（结合正则表达式）是其中较为出色的一种（个人认为最好啦，当然只能在Scrapy中使用）功能相对较全、使用较为方便，正因为它的丰富性，有时很多功能会忘记，所以在这里整理好记录下来，方便今后查阅使用。1. 元素的多级定位

系统命令**1 查看系统版本：**cat /etc/issue **2 查看软件版本及其他信息：**aptitude show xxx **3 查看软件安装位置：**dpkg -L xxx，注意这里的软件名必须是软件全名，可以先用4查看是否安装有包含软件部分名的软件，然后再查看位置。 **4 查看软件是否安装：**dpkg -l | grep xxxVim 命令

这篇博客的所有知识都是从Django的URLconf所得，这篇博客只是一个重点列举。URL配置URL配置本质是一个网站的导航流（navigate flow），将网站各页面的url和对应的控制器连接起来，从而通过控制器实现model和view的调度，将整个网站的各个模块联结起来。首先从一段代码开始：from django.conf.urls import url from . impo

正文之前，先引入大牛刘未鹏博客mind hacks的一篇博客《编程的首要原则是什么》中的一句话： 学习一项知识，必须问自己三个重要问题：1，它的本质是什么；2，它的第一原则是什么；3，它的知识结构是怎样的。这里结合我自己的情况，稍加改变这句话为： 学习一项知识，必须问自己三个重要问题：1，它的本质是什么；2，它的知识结构是怎样的；3，它的特性是什么。MVC框架模式解析1，MVC的本质是什