韩国麦当劳-优快云博客

原创 Python爬虫实战(六)：对某一关键词的某度指数数据的爬取(2022年5月更新)

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。一、网页分析二、接口分析url分析返回数据分析三、编写代码获取数据解密完整代码终于有时间来更新我的博客了！！这次咱们来搞一搞百度指数的爬取。一、网页分析咱们以爬虫为关键词，进行百度指数的分析然后F12开发者模式，然后刷新，依次点击Network -> XHR -> index?area=0&word=... -> Preview，然后你就会看到这些都是个啥啊，显然data里面是加密了的，头秃。

2022-01-04 09:49:51 7382 53

原创 Spark集群模式的搭建

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。环境Spark 完全分布式模式的搭建一、下载安装包，解压到合适位置:环境VMware 12.0.1JDK 1.8.0Hadoop 2.8.5Spark 完全分布式模式的搭建一、下载安装包，解压到合适位置:将压缩包 hbase-1.3.6-bin.tar.gz，通过上传软件上传至/opt/softwares目录；解压软件包并移动至/opt/modules/下载传送门提取码：5ta2...

2021-10-01 15:10:32 355

原创 Centos7下安装配置Python3.7

Centos7自带的python版本是2.6，有的时候可能满足不了我们的需求，我们就要手动去装更高的版本，本文以3.7版本为例。一、安装GCC依赖包yum install openssl-devel -yyum install gcc -y二、再安装一个工具，不安装会导致pip安装失败yum install libffi-devel -y三、下载python3.7的安装包，有两种方法。从官网下载，然后上传到CentOS上下载地址另一种可以通过CentOS的wget命令直接下载首

2021-10-01 15:02:01 953

原创 Python爬虫实战(五)：某博终篇之粉丝和关注者账号的爬取

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。一、网页分析二、接口分析url分析返回数据分析三、编写代码获取数据保存数据完整代码终于终于终于期末考试结束了，暑假集训也结束了，终于有时间来更新我的博客了！！今天咱们来聊一聊关于微博粉丝和关注者账号的抓取。依旧是使用新版微博，依旧是熟悉的女神迪丽热巴????。一、网页分析点击热巴的粉丝，然后F12开发者模式，然后刷新，依次点击Network -> XHR -> friends?relate=fans... -&

2021-07-24 22:43:55 6402 23

原创 Python爬虫实战(四)：微博博主信息爬取(粉丝数、关注数、博文数、信用等级、认证信息、个人简介……)

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。

2021-06-08 11:31:14 9664 30

原创 Python爬虫cookies获取方式：手动获取

以微博为例：打开浏览器的开发者模式，刷新网页寻找含有cookies的请求例：然后将cookie标签下的内容替换就好了。

2021-06-08 11:22:11 3139 2

原创 Python爬虫实战(三)：某博博文内容爬取

追风赶月莫停留，平芜尽处是春山。2021.5.20 祝天下有情人终成眷属文章目录追风赶月莫停留，平芜尽处是春山。2021.5.20 祝天下有情人终成眷属一、网页分析二、接口分析url分析返回数据分析三、编写代码获取数据保存数据完整代码不知你们发现了没有，微博偷偷推出了一个新版本的网页版界面相对原版微博来说简直是舒服了不知多少倍，全新炫目的微博界面、清晰有条理的分组阅读、个性化的应用管理……（微博打钱！）那咱们今天就用这个来爬一爬你女神历史博文数据吧！一、网页分析今天我选择的女神是迪丽热巴！

2021-05-20 22:32:27 8880 54

原创 Python爬虫实战(二)：某博评论文本爬取

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。一、网页分析二、接口分析url分析一、网页分析微博共有三种浏览方式，便于评论的抓取我们这次选择的是类似手机网页版的微博打开某一篇博文的评论，进入开发者模式，刷新网页，就能发现这个东西。里面包含评论内容、评论时间、评论者昵称、id等信息。二、接口分析url分析第一页：https://m.weibo.cn/comments/hotflow?id=4635408392523906&mid=4635408392

2021-05-11 21:43:48 8400 53

原创 Python爬虫实战(一)：腾讯新闻的较真查证平台，抓取疫情谣言数据

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。一、网页分析二、接口分析url分析返回数据分析三、编写代码完整代码一、网页分析打开网址较真查证平台打开开发者模式，刷新网页，往下翻看的时候注意到刷新出来了一个请求 URL请求到的数据是正好能够和网页中的内容对应起来。其中还包含标题、言论的真实性、时间、查证的要点以及查证者。二、接口分析url分析https://vp.fact.qq.com/loadmore?artnum=0&page=1&amp

2021-04-26 12:37:58 3690 17

原创 2020 EC final总结

追风赶月莫停留，平芜尽处是春山。得知要去西安打比赛了，心里很高兴，开始组队，准备材料。确认信息啥的，报名交钱都是在截至时间前一个小时完成的哈哈哈，很刺激。然后因为队友之间没有合作过所以安排了三场比赛练练手，想着磨合一下。打完确实找到了很多问题。出发的那天我唯一的感觉是好累啊，大约11点从学校出发，晚上11点多才到达酒店。抓紧点了份外卖吃了睡觉了。第二天，董老师带着我们去签到逛校园，也是累的不行哈哈啊哈哈。热身赛下午的热身赛，机器系统是Ubuntu系统的，当主持人说让登录的时候我们浏览器都没找到，编

2021-04-26 11:07:05 1386 1

原创 2021天梯赛总结

追风赶月莫停留，平芜尽处是春山。距离上次写博客已经过去一个多月了，这一个月忙来忙去到现在哈哈哈哈哈咕咕咕2021天梯赛这次天梯赛总感觉状态不好导致成绩大不如之前训练的时候，觉得能做出来的题就是得不了满分，而且在L2-2上耗费的时间太多了，L2-4就没时间看题了，总的来说时间分配上出了问题，总想着要把这个题得满分，所以使得其他本应该拿到的分数没有拿到，这是一个大问题。在做L2-2 的时候发现queue和vector分不清到底该用哪个，dfs也差点没写出来。开始10分钟没看到题目，以后要是刚开始能刷新

2021-04-26 10:58:51 660

原创 2021年度训练联盟热身训练赛第二场

F.Interstellar Love对于每个图首先应该求出有多少个连通图就会有多少个星座,但是因为对于存在环的图中,是一个错误的需要修正的星座,因此我们首先可以求出中间有多少连通图,及存在多少星座,然后对于每个连通图里判断是否存在环.本题可以并查集维护连通图,对于无环的情况我们可以直接 f[x] = find(y) ,对于本身无环加入这条边就有环的情况下,直接扔掉这条边并记录这两个点,最后分别统计有多少f[x] = x存在的情况, 然后对于记录的存在环的点我们分别求一下祖先,看有多少个不通的祖先输出即

2021-03-19 22:25:41 126

原创 Hive 本地模式，远程模式模式的搭建、命令行操作、Hive JDBC操作

追风赶月莫停留，平芜尽处是春山。文章目录追风赶月莫停留，平芜尽处是春山。环境下载安装包，解压到合适位置:Hive 本地模式的搭建一、配置相关的文件:二、安装并配置MySQL二、将Hbase复制到其他节点：三、启动Hbase:命令行操作一、创建表二、添加数据三、扫描表四、修改表五、删除六、列出所有表七、查询表中记录数八、查询表是否存在九、批量执行命令Java API 操作一、配置Maven依赖二、创建Java Class环境VMware 12.0.1JDK 1.8.0Hadoop 2.8.5Zo

2020-12-14 21:07:04 2423

原创 Hbase 完全分布式模式的搭建、命令行操作、Java API操作

Hbase 完全分布式模式的搭建Hbase 命令行操作Hbase Java API操作

2020-11-19 18:32:54 788 1

原创 Codeforces Round #624 (Div. 3)题解

写在前面：第一次打cf，只过了两题，C题做了一个半小时没做出来QAQA. Add Odd or Subtract Eventime limit per test2 secondsmemory limit per test256 megabytesinputstandard inputoutputstandard outputYou are given two positive inte...

2020-02-25 11:14:24 373

原创列表嵌套类型题：1. 列表数字元素加权和(1) 2.列表数字元素加权和(2) 3.求指定层的元素个数 4. 列表元素个数的加权和(1)

我看这类题大家都把它做成了字符串的题，在这里我就写写我自己对这类题的解法吧。若有疏漏的地方还请批评指正。1.列表数字元素加权和(1)：输入一个嵌套列表，嵌套层次不限，根据层次，求列表元素的加权和。第一层每个元素的值为：元素值1，第二层每个元素的值为：元素值2，第三层每个元素的值为：元素值*3，…,以此类推！输入格式:在一行中输入列表输出格式:在一行中输出加权和输入样例:[1,2,...

2020-01-03 18:03:17 8841 5

原创 6-10 按等级统计学生成绩 (20分)

题目：本题要求实现一个根据学生成绩设置其等级，并统计不及格人数的简单函数。函数接口定义：int set_grade( struct student *p, int n );其中p是指向学生信息的结构体数组的指针，该结构体的定义为：struct student{int num;char name[20];int score;char grade;};n是数组元素个数。学...

2019-12-25 22:35:13 3204

原创 6-9 判断回文字符串 (20分)

题目：本题要求编写函数，判断给定的一串字符是否为“回文”。所谓“回文”是指顺读和倒读都一样的字符串。如“XYZYX”和“xyzzyx”都是回文。函数接口定义：bool palindrome( char *s );函数palindrome判断输入字符串char *s是否为回文。若是则返回true，否则返回false。裁判测试程序样例：#include <stdio.h>...

2019-12-25 21:24:28 1182

原创 6-8 删除字符 (20分)

题目：本题要求实现一个删除字符串中的指定字符的简单函数。函数接口定义：void delchar( char *str, char c );其中char *str是传入的字符串，c是待删除的字符。函数delchar的功能是将字符串str中出现的所有c字符删除。裁判测试程序样例：#include <stdio.h>#define MAXN 20void delcha...

2019-12-25 16:00:50 1712

原创 6-7 实现两个整数的交换 (10分)

题目：本题要求实现一个函数swap，实现两个整数的交换。函数接口定义：void swap ( int *a, int *b );其中 a 和 b 是用户传入的参数。裁判测试程序样例：#include <stdio.h>void swap ( int *a, int b );int main(){int x, y;scanf("%d %d", &x...

2019-12-25 15:42:48 3308

原创 6-6 求一组数中的最大值、最小值和平均值 (10分)

题目：编写函数，求一组数中的最大值、最小值和平均值。函数接口定义：float fun(int a[],int n,int *max,int *min);其中 a、n、max 和 min 都是用户传入的参数。函数求a数组中n个元素的最大值、最小值和平均值。最大值和最小值分别通过max 和 min带回，函数返回平均值。裁判测试程序样例：#include <stdio.h&gt...

2019-12-25 15:38:30 17274 6

原创 6-5 在数组中查找指定元素 (15分)

题目：本题要求实现一个在数组中查找指定元素的简单函数。函数接口定义：int search( int list[], int n, int x );其中list[]是用户传入的数组；n（≥0）是list[]中元素的个数；x是待查找的元素。如果找到则函数search返回相应元素的最小下标（下标从0开始），否则返回−1。裁判测试程序样例：#include <stdio.h>...

2019-12-25 15:31:21 3561 4

原创 6-4 使用函数求最大公约数 (10分)

题目：本题要求实现一个计算两个数的最大公约数的简单函数。函数接口定义：int gcd( int x, int y );其中x和y是两个正整数，函数gcd应返回这两个数的最大公约数。裁判测试程序样例：#include <stdio.h>int gcd( int x, int y );int main(){int x, y;scanf("%d %d", &amp...

2019-12-25 15:17:00 4242

原创 6-3 统计个位数字 (15分)

题目：本题要求实现一个函数，可统计任一整数中某个位数出现的次数。例如-21252中，2出现了3次，则该函数应该返回3。函数接口定义：int Count_Digit ( const int N, const int D );其中N和D都是用户传入的参数。N的值不超过int的范围；D是[0, 9]区间内的个位数。函数须返回N中D出现的次数。裁判测试程序样例：#include <...

2019-12-25 15:15:13 433

原创 6-2 递归求Fabonacci数列 (10分)

题目：本题要求实现求Fabonacci数列项的函数。Fabonacci数列的定义如下：f(n)=f(n−2)+f(n−1) (n≥2)，其中f(0)=0，f(1)=1。函数接口定义：int f( int n );函数f应返回第n个Fabonacci数。题目保证输入输出在长整型范围内。建议用递归实现。裁判测试程序样例：#include <stdio.h>int f( i...

2019-12-25 15:11:37 3052

原创 6-1 使用函数求1到10的阶乘和 (10分)

题目：本题要求实现一个计算非负整数阶乘的简单函数，使得可以利用该函数，计算1!+2!+⋯+10!的值。函数接口定义：double fact( int n );其中n是用户传入的参数，其值不超过10。如果n是非负整数，则该函数必须返回n的阶乘。裁判测试程序样例：#include <stdio.h>double fact( int n );int main(void)...

2019-12-25 15:08:01 5420

原创 7-13 通讯录排序 (20分)

题目：输入n个朋友的信息，包括姓名、生日、电话号码，本题要求编写程序，按照年龄从大到小的顺序依次输出通讯录。题目保证所有人的生日均不相同。输入格式:输入第一行给出正整数n（<10）。随后n行，每行按照“姓名生日电话号码”的格式给出一位朋友的信息，其中“姓名”是长度不超过10的英文字母组成的字符串，“生日”是yyyymmdd格式的日期，“电话号码”是不超过17位的数字及+、-组成的字...

2019-12-25 15:03:58 1203

原创 7-12 查找书籍 (20分)

题目：给定n本书的名称和定价，本题要求编写程序，查找并输出其中定价最高和最低的书的名称和定价。输入格式:输入第一行给出正整数n（<10），随后给出n本书的信息。每本书在一行中给出书名，即长度不超过30的字符串，随后一行中给出正实数价格。题目保证没有同样价格的书。输出格式:在一行中按照“价格, 书名”的格式先后输出价格最高和最低的书。价格保留2位小数。输入样例:3Progra...

2019-12-25 15:01:40 604

原创 7-11 英文单词排序 (25分)

题目：本题要求编写程序，输入若干英文单词，对这些单词按长度从小到大排序后输出。如果长度相同，按照输入的顺序不变。输入格式：输入为若干英文单词，每行一个，以#作为输入结束标志。其中英文单词总数不超过20个，英文单词为长度小于10的仅由小写英文字母组成的字符串。输出格式：输出为排序后的结果，每个单词后面都额外输出一个空格。输入样例：blueredyellowgreenpurpl...

2019-12-25 14:58:57 2040

原创 7-10 字符串逆序 (15分)

题目：输入一个字符串，对该字符串进行逆序，输出逆序后的字符串。输入格式：输入在一行中给出一个不超过80个字符长度的、以回车结束的非空字符串。输出格式：在一行中输出逆序后的字符串。输入样例：Hello World!输出样例：!dlroW olleH代码：#include<stdio.h>#include<string.h>int main()...

2019-12-25 14:56:19 1291

原创 7-9 数组元素循环右移问题 (20分)

题目：一个数组A中存有N（>0）个整数，在不允许使用另外数组的前提下，将每个整数循环向右移M（≥0）个位置，即将A中的数据由（A0A1⋯AN−1）变换为（AN−M⋯AN−1A0A1⋯AN−M−1）（最后M个数循环移至最前面的M个位置）。如果需要考虑程序移动数据的次数尽量少，要如何设计移动的方法？输入格式:每个输入包含一个测试用例，第1行输入N（1≤N≤100）和M（≥0）；第2...

2019-12-25 14:54:49 1588

原创 7-8 求矩阵各行元素之和 (15分)

题目：本题要求编写程序，求一个给定的m×n矩阵各行元素之和。输入格式：输入第一行给出两个正整数m和n（1≤m,n≤6）。随后m行，每行给出n个整数，其间以空格分隔。输出格式：每行输出对应矩阵行元素之和。输入样例：3 26 31 -83 12输出样例：9-715代码：#include<stdio.h>#include<string.h&gt...

2019-12-25 14:47:12 23736 6

原创 7-7 冒泡法排序 (20分)

题目：将N个整数按从小到大排序的冒泡排序法是这样工作的：从头到尾比较相邻两个元素，如果前面的元素大于其紧随的后面元素，则交换它们。通过一遍扫描，则最后一个元素必定是最大的元素。然后用同样的方法对前N−1个元素进行第二遍扫描。依此类推，最后只需处理两个元素，就完成了对N个数的排序。本题要求对任意给定的K（<N），输出扫描完第K遍后的中间结果数列。输入格式：输入在第1行中给出N和K（1≤...

2019-12-25 14:44:50 622

原创 7-6 将数组中的数逆序存放 (20分)

题目本题要求编写程序，将给定的n个整数存入数组中，将数组中的这n个数逆序存放，再按顺序输出数组中的元素。输入格式:输入在第一行中给出一个正整数n（1≤n≤10）。第二行输入n个整数，用空格分开。输出格式:在一行中输出这n个整数的处理结果，相邻数字中间用一个空格分开，行末不得有多余空格。输入样例:410 8 1 2输出样例:2 1 8 10代码：#include&lt...

2019-12-25 14:42:35 1165

原创 7-5 求n以内最大的k个素数以及它们的和 (20分)

题目：本题要求计算并输出不超过n的最大的k个素数以及它们的和。输入格式:输入在一行中给出n(10≤n≤10000)和k(1≤k≤10)的值。输出格式:在一行中按下列格式输出:素数1+素数2+…+素数k=总和值其中素数按递减顺序输出。若n以内不够k个素数，则按实际个数输出。输入样例1:1000 10输出样例1:997+991+983+977+971+967+953+9...

2019-12-25 14:40:10 8456

原创 7-4 求整数的位数及各位数字之和 (15分)

题目：对于给定的正整数N，求它的位数及其各位数字之和。输入格式：输入在一行中给出一个不超过109的正整数N。输出格式：在一行中输出N的位数及其各位数字之和，中间用一个空格隔开。输入样例：321输出样例：3 6代码：#include<stdio.h>int main(){ int a,b=0,c=0; scanf("%d",&amp...

2019-12-25 14:35:39 4896

原创 7-3 出租车计价 (15分)

题目：本题要求根据某城市普通出租车收费标准编写程序进行车费计算。具体标准如下：起步里程为3公里，起步费10元；超起步里程后10公里内，每公里2元；超过10公里以上的部分加收50%的回空补贴费，即每公里3元；营运过程中，因路阻及乘客要求临时停车的，按每5分钟2元计收（不足5分钟则不收费）。输入格式：输入在一行中给出输入行驶里程（单位为公里，精确到小数点后1位）与等待时间（整数，单位...

2019-12-25 14:32:52 6000

原创 7-2 计算天数 (15分)

题目：本题要求编写程序计算某年某月某日是该年中的第几天。输入格式：输入在一行中按照格式“yyyy/mm/dd”（即“年/月/日”）给出日期。注意：闰年的判别条件是该年年份能被4整除但不能被100整除、或者能被400整除。闰年的2月有29天。输出格式：在一行输出日期是该年中的第几天。输入样例1：2009/03/02输出...

2019-12-25 14:28:34 1068

空空如也

在Element-ui的msgbox如何加入远程搜索选择器？

LDA主题模型数值是怎么计算出来的？

python 安装FALCONN时报的错误，我不知道这个编码应该怎么改变

使用python安装，pip install falconn时报错，请问这是为什么啊

手机在线评论的用户需求挖掘怎么做？