Z645817的博客

简介　　Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。　　Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。　　Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列、入队、触发事件，当引擎需要时..

最近在解决TensorFlow模型重新导入时遇到下面这个问题，发现网上很多解决办法都在误导，其实报错已经很明显说明问题的根源，只是我们不一定找到问题的根源。报错显示 不能在快照中找到 对应的键值。报错信息：tensorflow\tensorflow\core\framework\op_kernel.cc:1318] OP_REQUIRES failed at save_restore_v...

Hive 时间转换UNIX时间戳概念：因为UNIX时间戳只是一个秒数，一个UNIX时间戳在不同时区看来，时间是不同的。如UNIX时间戳0，在0时区看来是1970-01-01 00:00:00，在东八区看来是1970-01-01 08:00:00。hive常用时间操作示例-- 返回UNIX时间戳代表的（格林威治零时区）时间，默认格式如下。select from_unixtime(...

HDFS常用命令，虽然现在流行很多hadoop插件，直接或间接操作HDFS，但是熟悉HDFS原生操作命令也是有好处的。HDFS命令和Linux系统操作命令有很多相似之处，对熟悉Linux系统操作的人来说学习很简单，所以大数据入门首先学习Linux系统。hadoop fs 和hdfs dfs 两种命令都可以操作执行。#hdfs dfs -help [com] 　　　　　　　　　　　　　　　　　　...

HDFS简介　　HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。HDFS基本概念篇         设计思想：分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治...

Python 基础入门　　缩进：Python语言利用缩进表示语句块的开始和退出（Off-side规则），而非使用花括号或者某种关键字。增加缩进表示语句块的开始，而减少缩进则表示语句块的退出。　　控制语句if语句，当条件成立时运行语句块。经常与else, elif(相当于else if) 配合使用。for语句，遍历列表、字符串、字典、集合等迭代器，依次处理迭代器中的每个元素。whil...