天涯笨熊-优快云博客

原创深度学习（一）深度学习的概念

什么是深度学习深度学习是机器学习与神经网络、人工智能、图形化建模、优化、模式识别和信号处理等技术融合后产生的一个领域。深度学习网路是神经网络革命性的发展，人们甚至认为可以用它来创建更加强大的预测模型。深度学习的分类深度学习使用多层机器学习模型对数据进行有监督学习或无监督学习。模型中的不同层由非线性数据变换的多个阶段组成，数据的特征在相继更高、更抽象的层来表示。数据科学领域有如下两种基本的...

2018-12-16 16:29:42 1880

原创 django开发电子商城（四）django分页进阶和列表长度控制

1：在list.html中增加bootstrap分页代码 2：增加样式，使分页列表居中 3：修改views.py文件，将分页数据传到前端 4：修改list.html，根据传到前端的分页数据进行渲染分页条运行效果如下： 5：启动django的shell进行调试 6：shell启动完成后，导入分页和产品页 7：导入相关代码，测试page_range的数据

2017-12-24 18:42:22 1695

原创 django开发电子商城（三）django内置分页

1：更新数据库表，修改models.py中的Product类运行命令，完成数据库更新 2：在admin界面增加相关数据 3：编辑列表函数，views.py，增加分页功能 4:增加路由，编辑urls.py

2017-12-22 17:16:12 53449

原创 django开发电子商城（二）商品models创建

1：新建static、templates文件夹，并导入相关资源文件 2：修改views.py文件 3：新建商品的数据库 4：指定图片存储的目录，setings中做如下配置： MEDIA_URL=”/media” MEDIA_ROOT=os.path.join(BASE_DIR,”media”).replace(“//”,”/”) 在urls.py中，配置如下： 6：创建数据

2017-12-22 17:13:31 55649

原创 django开发电子商城（一）创建项目

一：创建项目1：在工程放置的目录下，打开命令行，创建工程 django-admin startproject website 2：进入工程目录 cd .\website\ 3：启动服务 python .\manage.py runserver 4：运行效果如下： 5：新建应用 django-admin startapp firstapp 6：注册APP 7：编写响应页

2017-12-22 17:08:43 56053

原创科学可视化基础

可视化概念将任何的抽象的事物过程、事务展现成图形、图像，均可称为可视化与计算机相关的可视化，如可视化界面（图形界面）、可视化编程等科学计算可视化这个概念，是美国国家科学基金会（NSF）于1987年2月提出的。科学计算的基本含义就是利用计算机图形学或者是一般图形学的原理和方法，将科学与工程计算产生的大规模数据，如数值计算、工程测量、卫星数据等，将数据转化成图形、图像，并直观地表达出来。

2017-12-22 17:03:17 55078

原创 Django技术详解（六）开发Admin

什么是AdminAdmin是python自带的一个功能强大的自动化数据管理界面可以让被授权的用户直接在Admin中管理数据库 Django提供了很对针对Admin的定制功能配置Admin1：创建超级用户 python manage.py createsuperuser 创建超级用户 2：访问Admin入口地址：127.0.0.1：8000/admin 3：配置Admin界面为

2017-12-22 17:01:45 52831

原创 Django技术详解（五）开发Models

Django中的Models是什么？通常，一个Model对应数据库的一张数据表‘ Django中Models以类的形式表现，它包含了一些基本字段以及数据的一些行为。本质上，是ORM框架，对象关系映射（Object Relation Mapping），实现了对象和数据库之间的映射，隐藏了数据访问的细节，不需要编写SQL语句。编写Models1：在应用的根目录下创建models.py，并引入mod

2017-12-19 10:45:26 59047

原创 Django技术详解（四）开发template

什么是TemplatesTemplates，在Django其实是一个一个的HTML文件，它使用了Django模板语言（Django Template Language,DTL），也可以第三方模板（如Jinja2）开发一个Template步骤如下： 1：在应用的根目录下创建名叫Templates的目录 2：在该目录下创建HTML文件 3：在views.py中返回一个render 4：运

2017-12-18 19:32:34 58573

原创 Django技术详解（三）配置URL

配置步骤1：在根urls.py中引入include 2：在应用下新建urls.py的文件，格式与根urls.py相同根urls.py中url函数第二个参数改为include(“blog.urls”) 注意事项：1：根urls.py针对应用配置的URL名称，是该应用所有URL的总路径 2：配置URL是注意正则表达式结尾符号$和/

2017-12-17 18:56:51 71669

原创 Django技术详解（二）创建Djangon应用

创建步骤1：打开命令行，进入项目中manage.py的同级目录； 2：命令行输入：python manage.py startapp blog 3:添加应用名到settings.py中的INSTALLED_APPS里创建应用的时候注意，应用名不能和项目名重名、不能和已有python模块重名应用目录详解目录结构如下： migrations：数据移植（迁移）模块，文件中的内容自动生成，开发

2017-12-17 18:32:15 72261 1

原创 Django技术详解（一）创建Djangon项目并理解目录结构

创建项目1：打开命令行，进入想要安置项目的目录 2：命令行输入：django-admin manage.py startproject myblog；如果没有报错，证明项目创建成功项目目录介绍 mamage.py：与项目进行交互的命令行工具集的接口项目管理器执行python manage.py来查看所有命令 myblog目录：项目的一个容器包含项目的一些基本配置目录名称

2017-12-17 13:22:22 76425

不论什么语言，学Web开发必做的项目——个人博客。本次项目基于Python的知名Web框架Django，从数据库到视图逻辑、再到模板语法，完整的走了一遍MTV开发流程。markdown非常适合写博客、新闻类文章，也快成为了开发者写开发文档的标配了。所以本博客项目的文档内容，数据库存储的数据，也就是markdown格式内容，在前端显示需要转成HTML语法。开发环境：Python3.6+pycharm+

2017-12-14 18:09:26 83179 12

原创 scrapy命令行详解

1：创建scrapy项目 scrapy startproject XXXXXX 2：进入项目目录 cd XXXX 3：生成spider scrapy genspider baidu www.baidu.com 4：列出创建spider所有可用模板 scrapy genspider -l 5：指定模板生成spider scrapy genspider -t crawl zhihu w

2017-12-12 16:34:16 28854

原创 scrapy爬虫框架的详细用法

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

2017-12-12 15:32:45 36233

原创 pygame的最小开发框架

pygame框架一般包含四个部分： 1：引入pygame和sys2：初始化init()及设置3：获取事件并逐类响应4：刷新屏幕具体实现代码如下：#引入pygame和sysimport pygame,sys#初始化init()及设置pygame.init()screen=pygame.display.set_mode((600,400))pygame.display.set_capti

2017-12-10 23:00:29 49191

原创 pygame的简介与安装

简介pygame是跨平台Python模块，专为电子游戏设计，包含图像、声音。建立在SDL基础上，允许实时电子游戏研发而无需被低级语言（如机器语言和汇编语言）束缚安装在windows平台上，以管理员身份运行cmd，使用如下命令进行安装：pip install pygame 测试安装是否成功在cmd中以管理员身份运行：python -m pygame.examples.aliens，可运行pygame

2017-12-10 22:36:15 35544

原创在windows下安装scrapy

在Windows下安装scrapy是比较麻烦的，具体的安装步骤如下： 1: pip install wheel 2: pip install lxml 3: pip install PyOpenssl 4:安装microsoft visual c++ build tools，下载地址：http://landinghub.visualstudio.com/visual-cpp-build-to

2017-12-07 16:07:07 30985 1

原创比价网站的基础-爬取淘宝的商品信息

淘宝网站，页面上有很多动态加载的AJAX请求，并且很多参数做过加密处理，如果直接分析网页，会非常繁琐，难度极大。本文利用selenium驱动chrome浏览器完成关键字输入、搜索、点击等功能，完成页面的信息的获取，并利用pyquery库进行解析，获取商品信息并将信息存入mongodb。 selenium库的安装已经具体使用方法详见博客http://blog.youkuaiyun.com/qq_29186489

2017-12-06 19:08:11 74038

原创九州海上牧云记，电视剧节奏太慢？教你如何看全集

最近九州海上牧云记，在优酷上热播，画面唯美，演员也都养眼，可是这剧情的发展真的是太慢了，剧集注水严重，一集50分钟的电视剧得有10分钟在回忆，剪辑也有问题，有些地方情节跳跃性很大，连不上，每周也只有星期一到星期六每天更新两集，周日，想笙殿下、穆如寒、铁沁荷叶了，怎么办？这种事情，怎么可能抵挡我们追剧的热情？下面，我介绍一下，如何利用pyquery，爬取下载牧云记小说全集的方法，提供所有源代码，让大家

2017-12-03 11:36:01 74113

原创多进程，Request+正则表达式爬取榜单类网站

本文是利用多进程、requests库和正则表达式，爬取猫眼电影的TOP100的榜单。 1：requests库的安装及详细用法关于requests库的具体安装方法，详见博客：http://blog.youkuaiyun.com/qq_29186489/article/details/78581249；request库的介绍以及用法，请参见博客：http://blog.youkuaiyun.com/qq_29186489

2017-12-01 17:23:15 62502

转载我已经写了48年代码了，我感觉我还能写下去

这是来自quroa的问题：Why-aren’t-there-a-lot-of-old-programmers-at-software-companies下的一个回答。很多人会疑问是不是程序员最后只能转管理，是不是到了中年之后就应该放弃编程。看到这个回答后很受触动，尽力翻译出来，有不恰当的地方欢迎指出。下个星期我就69了。我从1967年开始编程。到现在已经48年了.

2017-11-30 11:09:08 61696

原创 selenium用法详解

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。

2017-11-30 06:55:52 287001 20

原创 pyquery用法详解

PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。官网地址：http://pyquery.readthedocs.io/en/latest/

2017-11-28 22:05:44 115789 1

原创 BeautifulSoup库的用法详解

BeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 BeautifulSoup库的安装，可参见博客：http://blog.youkuaiyun.com/qq_29186489/article/details/78581249

2017-11-27 16:58:44 116172

原创正则表达式的相关用法

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。大家在写正则表达式的过程中，可利用开源中国的正则表达式测试工具，对其进行检测，链接为：http://tool.oschina.net/regex/ 常见的正则表达式匹配模式如下所示：

2017-11-26 09:50:23 124189

原创 Request库的相关用法

equests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！

2017-11-24 21:36:43 114816 1

原创和数据分析相关的重要Python类库介绍

NumPyNumPy（Numerical Python的简称）是Python科学计算的基础包。在本专题中的大部分内容都是基于NumPy以及构建于其上的库，它提供了以下功能（不限于此）： - 快速高效的多位数组对象ndarray - 用于对数组执行元素级计算以及直接对数组执行数学运算的函数 - 用于读写硬盘上的基于数组的数据集工具 - 线性代数计算、傅里叶变换以及随机数生成 - 用于将C、C

2017-11-24 16:00:44 115240

原创 UrlLib库的相关用法

什么是UrlLib它是python内置的HTTP请求库，不需要额外的安装它其中包含的几个模块的说明： 1：请求模块，urllib.request 2：异常处理模块，urllib.error 3：url解析模块，urllib.parse 4：robots.txt解析模块 urllib.robotparserurllib库在python2和Python3中的区别Python2 impor

2017-11-23 11:24:44 112905

原创爬虫基本原理梳理

什么是爬虫？请求网站并提取数据的自动化程序爬虫的基本流程1：向服务器发起请求通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器的响应。2：获取响应内容如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、JSON、二进制文件（如图片、视频等类型）。 3：解析内容得到的内容

2017-11-21 21:13:13 124920

原创 Python爬虫环境常用库安装

1：urllib urllib.request这两个库是python自带的库，不需要重新安装，在python中输入如下代码：import urllibimport urllib.requestresponse=urllib.request.urlopen("http://www.baidu.com")print(response)返回结果为HTTPResponse的对象： <http.cli

2017-11-20 19:33:15 114238 6

原创 python爬虫环境安装-mysql环境安装

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。 MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所

2017-11-20 12:47:33 113894

原创 python爬虫环境安装-redis

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。 redis的下载地址：https://github.com/MSOpenTech/redis/releases 安装过程如下：

2017-11-17 06:58:16 122954

原创 python爬虫环境安装-mongodb

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 MongoDB 的下载地址：http://dl.mongodb.org/dl/win32/x86_64 下载完成后，安装按照默认配置，很快就安装完成了。

2017-11-16 06:16:08 113298

原创 python爬虫环境安装-IDE-pycharm

PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。下载地址：http://www.jetbrains.com/pycharm/download/#section=win

2017-11-15 21:14:05 114081

原创 python爬虫环境准备-安装anaconda

在windows环境下，比较头疼的就是包管理和Python不同版本的问题，为了解决这些问题，有不少发行版的Python，比如WinPython、Anaconda等，这些发行版将python和许多常用的package打包，方便python开发者使用。个人尝试了很多类似的发行版，最终选择了Anaconda，因为其强大而方便的包管理与环境管理的功能。该文主要介绍下Anaconda，对Anaconda的

2017-11-15 17:48:11 131251

原创 fake-useragent，python爬虫伪装请求头

在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

2017-11-10 10:02:45 133618

天涯笨熊的博客