qq_44766315的博客

**RuntimeError: The Session graph is empty. Add operations to the graph before calling run().**代码：import tensorflow as tssess=ts.Session()a=ts.constant(10)print(sess.run(a))报错：一想版本问题改成了ts.compat.v1.Session()，又是这个问题了这个应该也是版本问题吧，然后添加这句话：ts.com

爬虫学习笔记（十）Scrapy之CrawlSpiders首先说Spider，它是所有爬虫的基类，而CrawSpiders就是Spider的派生类。原理start_urls --> 调度器 --> 下载器 -->rules--> 数据提取 --> 调度器作用：在rules到中提取到的数据获得新的url，直接返回给调度器进行继续爬取，并创建方法：scrapy genspider -t crawl xxx xxx.com LinkExtractors提取新

爬虫学习笔记（九）scrapy中settings&pipeline的常用设置settings我们应该注意的是setting中User-Agent，他一般都是默认的 ‘文件名+ (+http://www.yourdomain.com)’，在我们访问一些网站时明明代码没有问题可是就是没有结果，看看自己改ua了没。然后呢就是ROBOTSTXT_OBEY，这是看你是否遵循robots协议，因为有些东西是网站不想让你爬取的信息，所以该怎么样就自己想想吧。DOWNLOAD_DELAY ，可以限制爬

爬虫学习笔记（八）Scrapy数据提取及保存数据提取了解数据提取之前我们应该先去了解xpath的一些路径表达式符号意思nodename选取此节点的所有子节点。/从根节点选取。//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前节点。…选取当前节点的父节点。@选取属性。下面举个简单的例子<li id="brand-14026" data-initial="A" style="display:block;

爬虫学习笔记（七）Scrapy的使用创建项目scrapy startproject name(自己定义名字) #定义项目名创建爬虫scrapy genspider xxx(爬虫名称) 域名 #定义爬虫名运行爬虫scrapy crawl xxx(爬虫名)创建一个.py文件，在文件中从scrapy.cmdline中导入execute，写入如下：from scrapy.cmdline import execute# execute("scrapy crawl xxx

爬虫学习笔记（六）Scrapy框架：Scrapy 框架介绍为了爬取网站数据而编写的一款应用框架,所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板该框架提供了高性能的异步下载，解析和持久化等功能为什么要使用Scrapy？它更容易大规模的抓取项目它可以同时进行处理请求，速度十分快Scrapy的特点Scrapy是一个免费开源使用的网络爬虫框架Scrapy能生成JSON，CSV和XML（代码在下端）Scrapy使用xpath，简单明了Scrapy允许以自动方式

爬虫学习笔记（五）selenium：Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。 例如：from selenium import webdriverfirefox= webdriver.Firefox()chrome

爬虫学习笔记（四）数据提取：正则表达式正则表达式是用来匹配字符串非常好用的方法，看看规则模式描述a单个字符。a这里只是个代表，可以是任意非特殊字符[abc]匹配a或b或c。a、b和c只是个代表，a、b和c可以是任意非特殊字符[^abc]匹配不是a或b或c以外的所有字符。[a-z]匹配a到z的任意一个字符\d匹配一个数字字符。等价于 [0-9]。\D匹配一个非数字字符。等价于 [^0-9]。\w匹配字母、数字、下划线。等价于’[

爬虫学习笔记（三）urllib库：学会伪装现在有很多网站不让程序直接对上面的内容进行访问，如果发现是程序，站点就不会产生响应设置请求头User-Agent代表用的哪个请求的浏览器就访问的页面那么怎么找呢(以我用的火狐为例）首先对网页按下F12，出现点击网络（network），随便点一个链接，在将旁边的滑块滑到最底就会发现ua了。例子第一天有写。还有referer，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应。所以我们可以这样写：head

爬虫笔记学习（二）数据爬取：什么是数据爬取就是根据url来获取它的网页信息，很多时候我们在浏览器里面看到的是各种各样的页面，其实是由浏览器解释才呈现出来的，实质它是一段html代码，加 js、css，最重要的部分是存在于html中的，举个简单地例子：from urllib.request import urlopenresponse = urlopen("http://www.baidu.com")print(response.read().decode())这样就得到了百度页面的信息了

爬虫学习（一）爬虫介绍：什么是爬虫网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么爬虫就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据。作用通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。就业情况目前互联网产品竞争激烈，业界大部分都会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据分析，这是必备手段，并且很多公司都设立了爬虫工程师的岗位。那么爬虫工程师是干什么的呢？(可以点来看看)合法性

python爬取京东手机信息众所周知，手机对我们现在来说是特别重要的。几乎算的上是人均一部啦，所以我就想看看下一个手机应该换成什么好呢，于是就对京东的手机数据进行了查询。我在这里看了手机的性能，价格和好评百分比进行了查看。代码自提：链接：https://pan.baidu.com/s/1AQrHqcnoSRapYRqBzxNAAw提取码：ufzp想用来写进数据库，写成xlsx文件都可以，自己慢慢摸索吧...

matplotlib之折线图，散点图当我们有很多数据时，选择转化成图无疑不是最好的办法那就来看看折线图和散点图吧首先导入matplotlib下的pylab输入X轴和y轴的数字。调用plot()方法，方法中有三个参数，第一个是横轴的数据，第二个是纵轴的数据，第三个则是控制输出的颜色样式等。一般默认折线图。结果如下：这个是散点图的样式输出结果如下:当然我们也可以对颜色和点线样式进行修改。有兴趣的话可以一个一个去试一试奥。同时还可以使用title()方法为图加标题；左边竖轴