JiajunBernoulli的博客

前言最近开始学习基金????，感觉需要收集一些数据统计分析才靠谱????毕竟给A股交学费的感觉可不好受????网上有很多公开的数据，我这里选择的是天天基金网进行爬取页面分析接口我分析过了，有些验证不太好获取数据，所以直接从html提取在天天基金网中随便选择一款基金，然后点击进入历史数据页面容易定位出日增长率的css选择器还有翻页按钮程序编写使用selenium打开chrome浏览器进行爬取，全代码如下from selenium import webdriverfrom sel

文章目录网站分析代码参数配置下载m3u8文件下载ts文件解密合并转换为MP4网站分析许多网站使用的都是video加载的视频，无法获得视频的源地址。但是通过抓包可以获得两类文件，一类是m3u8，相当于ts文件的索引将不同的ts文件串起来；另一类是很多个ts片段，由这些片段构成我们观看的视频。上图的m3u8文件显示的ts文件是未加密的，所以下载下来的ts文件可以直接播放；下载的时候还能注意...

文章目录前言爬取网站分析代码分析统计分析前言意外地从阿里巴巴校园招聘官网中发现了阿里巴巴的人才计划有研究型实习生项目，但是只能按领域方向筛选而不能按毕业时间筛选，便想把数据爬下来自己筛选爬取网站分析可以根据tableTr定位到每一行，tableTd定位到一行中的各列通过rightCount可以定位到翻页的按钮代码分析这里采用selenium加bs4的技术方案，主要是为了翻页的方...

前言由于工作需要制作照片墙，就顺便爬了一波美景图，用来练手。爬取先给出我爬取的网站地址 http://www.win4000.com/zt/guowaifengguang_1.html网站分析这里的选择器很多，有很多组合方式，我这里给出最简单的’.Left_bar li’，这样可以定位到每个li，然后再依次获取当中图片和文本。需要注意的是获得的图片链接只是缩略图，去除掉尺寸即可访问原...

文章目录前言网站分析提取内嵌html分析内嵌html获取图片链接代码展示运行结果下载并合成pdf前言不满足于上次从360doc爬取了概率论的答案，这次便研究了一下book118，爬取了里面我需要的答案书。不过由于网站的设计比360doc的复杂，我又不擅长java的爬虫，所以这次用python获取图片链接，接着用之前写的java下载图片并合并成pdf。网站分析提取内嵌html任意打开一本书...

文章目录前言发送邮件爬取页面分析代码部署前言求职的时候，简历免不了不断改动。如果一次早早投完，可能就无法再更改。如果一直等待，可能会错过截至日期。所以我爬取牛客网的校招日程，比截至日期早两天提示自己即将截止的公司。发送邮件这里直接改了改网上的代码#!/usr/bin/python3# coding: utf-8import smtplibfrom email import enc...

文章目录前言网站分析具体代码前言由于了解每个时段的收视率信息，这里爬取了酷云的数据网站分析进入酷云的界面，可以发现它的数据是通过Ajax获取http://eye.kuyun.com/web/#epglist/225/深圳卫视双击刚才的请求进去，可以直接拿到json数据，并没有过滤操作，使用直接用request请求即可。广告表现也是一样的道理具体代码获得EPG信息直接写入文件...

前言由于第一问需要频道用户信息，便选择从深圳卫视的微博中爬取其粉丝的信息作为数据。网站分析具体代码

前言由于问题需要产品销量情况的数据，在此选择爬取京东的评论，根据日期来确定产品的销量。

前言D题与地方电视台有关，多年的收视率数据可能有一些用站点分析http://www.tvtv.hk/archives/category/tv可以发现每天的排行榜以一个静态页面发布，获得了每天的排行榜链接才能进一步获取每天的数据每天前10的信息以文字发布在p标签内，抓取段落的时候，最后按空格拆分一下具体代码抓取每天排行的链接def get_href_list(): hre...

前言在从两个小网站爬取了书籍之后，我想研究一下大网站的网页，便把自己分析出来的一点结果分享出来，希望能帮助大家，也请大佬指出其中不足。百度文库任意打开一篇文档F12调出控制台试着检查一下图片元素，可以发现一个urlurl很长，包含了很多参数，我单独分析了一下参数的内容，没能找到页面之间的循环规律，如果有大佬发现了还望点拨点拨。把链接拿出来直接从浏览器访问看看，成功获得了图片资源。...

文章目录前言网站分析图片获取合成pdf前言辛辛苦苦地找到了自己需要的答案，但却无法下载，便打算分析一下网站将内容爬取出来,自己简单实现了自己的需求，现在把代码拿出来分享分享。网站分析好不容易在360doc中找到了完整版的答案，更值得高兴的是，它的结构很简单，图片没有百度文库那样反爬措施；这也是为什么我用java来爬取的原因之一。从上图不难看出，src指向的就是需要的图片，而文件名与页码...

前言之前看到大佬爬取维基百科获取春晚的信息，做了些数据分析，我也想跟着试一下，但是…不过我居然在360百科上面发现了多年春晚的信息，便选择从360百科爬取。站点分析从网站可以看出，它的每个词条应该对应着唯一的一个html页面我们搜索的参数并没有直接通过get在地址栏显示出来，而是藏在了cookie当中，也就是我们可以通过修改cookie了打开不同年份的页面。但是我图个简单没选择这种...

项目已经放在GitHubs上 https://github.com/JiajunBernoulli/douban-short-commentary ，感兴趣的朋友可以通过**修改配置文件**实现其他电影的短评爬取及绘图。