叶子叶来

前端vue-element-admin已经上手，基于python的tornado框架开发股票分析后台，拿到akshare的数据，定时任务写入mysql，前端表格展示，能结合vue，echarts，tornado，pandas，seaborn等涉及过的知识，是个练手的好项目。torndb适配python3tornado的torndb模块没有适配python3，首先把它适配，修改torndb.py如下：#!/usr/bin/env python## Copyright 2009 Faceboo

python和javascript是轮子王语言，容易上手出机会，tornado开发代码量介于bottle和django之间，简单易用，异步特征，引入web和ioloop就可以用，如下：# -*- coding:utf8 -import tornado.webimport tornado.ioloopimport tornado.genfrom concurrent.futures import ThreadPoolExecutorimport tornado.concurrentimpor

上面一篇被ban了，重写，针对爬虫首先声明只是哥玩具爬虫，得到自己的所有博客地址，然后随机访问；思想很简单，包含了2个类IPSpyder和优快云类，前者保证一周内get一次ip代理到本地，后者包含3个方法负责随机读取博客，getBlogList()方法的输入是个人博客的主页地址，输出是个人博客所有的链接，getBlogTitleAndCount()的输入时单个博客的url地址，拿到当前博客的访问量和标题，输出；IP代理的爬虫参考：爬取IP代理import requestsimport..

​针对爬虫首先声明只是玩具爬虫，拿到自己博客地址，然后随机访问，最后增加TamperMonkey插件python爬虫思想很简单，包含了2个类IPSpyder和优快云类，前者保证一周内get一次ip代理到本地，后者包含3个方法负责随机读取博客，getBlogList()方法的输入是个人博客的主页地址，输出是个人博客所有的链接，getBlogTitleAndCount()的输入时单个博客的url地址，拿到当前博客的访问量和标题，输出；...

一、lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：def f(x):return x**2print f(4)Python中使用lambda的话，写成这样g = lambda x : x**2print g(4)二、lambda和普通的函数相比，就是省去了函数名称而已，同时这样的匿名函数，又不能共享在别的地方调用。其

上篇讲了常用的python爬虫工具，可以快速支撑我们数据的爬取--解析--分析，这里使用几个小实例，爬取过程一、文本图表数据抓取(编程语言排名)#!/usr/bin/env python#coding:utf-8import requestsfrom requests.exceptions import RequestExceptionfrom lxml import etreefrom lxml.etree import ParseErrorimport jsondef .

上一篇爬取bilibili的弹幕进行图云展示，是数据爬取+数据展示结合的范例，这里将介绍爬虫的常用工具；常用工具数据爬取的3个步骤：下载数据---解析数据---分析数据，里面用到一些常用工具，requests是下载url内容，正则表达式、beautifulsoup和lxml是对html文档解析快速定位想要的内容，tqdm能够显示处理进度，ffmpy处理图像和视频流，matplotlib和seaborn对数据化； Requests requests包提供针对URL的get、put、pos.

前面说过爬虫无非是文本、图片、音频，难度依次上升，虽然爬取数据的步骤是固定的，但是细节上的处理逻辑可能不同，比如html的解析方式、反爬取的手段、分布式爬取等，本文介绍最简单文本的爬虫方式，结合数据分析和可视化能力，争取能够做到一站式数据爬取、分析、可视化，奥利给。...

一、python中的线程复杂度较高，不提倡用，看了几个视频，觉得跟Java的定义和使用方式大同小异，不得不说，python和Java的相似度还是蛮高的。用python多线程的地方：抓取网页时候url分析、数据库连接池。二、python中的正则表达式与别的语言一样，在抓取网页的时候分析url地址中常常被使用。只有将其用在实战的场景中才会去想怎么用好，为了不至于博文太空虚，还是贴一下，