问卷星爬虫2

最新推荐文章于 2024-06-29 22:10:57 发布

原创最新推荐文章于 2024-06-29 22:10:57 发布 · 995 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

1 篇文章

订阅专栏

带异常处理

代码

while flag==0:
    try:
        b.get('https://www.wjx.top/m/43450495.aspx')
        flag=1
    except Exception as e:
        print(e)

selenium异常处理也采用了python的try except形式
我设置了无限循环因为没有异常产生没有实验其处理效果

下一步

因为没有问卷的详细形式，在未知的情况下下一步准备使用正则项来匹配要输入的信息，如关键词，电话
姓名，身份证，性别。这个先缓下，感觉应用场景不多，相关功能不是十分卓越。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

A1027262901

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

java爬虫---问卷星自动提交问卷请求参数（jqsign，jqnonce等）解密

qq_40695278的博客

03-27

9136

以https://www.wjx.cn/jq/35713991.aspx这个问卷页为例填完问卷打开控制台，转到network并且勾选preserver log（不然等会儿提交的请求看不到），点提交，找到此次提交请求如下：是post请求，转到下面查看请求参数和post表单提交携带的参数（问卷答案）：发现请求url里面带了9个参数。经过多次请求对比发现submittytype，curl...

python爬取问卷星内容,Python 问卷星自动填写爬虫

weixin_36225384的博客

03-26

3098

Python帮你填问卷星ps：网上看到的代码，虽然技术不深，但我觉得挺有用的，所以在此分享给大家在某段时间朋友圈是否一直充斥着各种问卷调查，为了达成某种要求我们不断向好友求助填写问卷，今天，我就把下面这个自动填写问卷的神器交给你，再有人找你填问卷直接给他交100份~当然在此之前你需要先在你的电脑上装上 python 2.7import requestsimport reimport timeimp...

参与评论您还未登录，请先登录后发表或查看评论

问卷星爬虫（带验证码）

11-17

本爬虫若自己修改需要一定的编程基础，可参考http://blog.youkuaiyun.com/gcs1024/article/details/78559488

问卷调查批量模拟真人填写爬虫实战

头铁逆向的旅程

08-11

2629

批量模拟真人填写问卷调查爬虫

问卷星爬虫（不带验证码）

11-17

用于问卷星自动提交，不带验证码，使用前请先根据fiddler抓包情况分析并修改参数

问卷星爬虫

A1027262901的博客

08-13

3045

问卷星爬虫系统 windows10+python+selenium 代码抢9价疫苗，能完成自己发布的问卷，其他人发布问卷需要异常处理没有加入。 from selenium import webdriver from selenium.webdriver.support.ui import Select b=webdriver.Firefox() b.get('https://www.wjx.t...

问卷星python爬虫资源

11-01

因此，一套有效的问卷星爬虫资源不仅要能够实现数据的抓取，还应具备处理这些反爬策略的能力。在具体实现上，一个典型的问卷星爬虫程序可能会涉及到以下技术点： 1. HTTP请求的发送与处理：使用Python中的requests...

Python3 爬虫--- 问卷星内容爬取

wozaiyizhideng的博客

06-02

6821

今天面试有个问卷星的笔试题，但是无法复制题目内容。所以爬取一下。 import time from requests_html import HTMLSession wenjuanxing_ID = id wenjuanxing_URL = "https://ks.wjx.top/jq/{}.aspx".format(wenjuanxing_ID) def parse_post_data(resp): ''' 解析出问题和选项 ''' questions .

python 从题库excel中读取需要的属性生成json，然后爬取问卷星比对出答案

shiyu_mj的博客

01-05

986

import pandas as pd import re import json df=pd.read_excel('文化题库.xlsx',sheet_name ='Sheet1') k='[A-Z]' dic={} #清空base.txt with open('base.txt','w') as f: pass #表格第一行被读取成columns了,所以从1开始 for i in range(1,161): line=df.iloc[i] #line[8]有na

Python爬取问卷星问题与选项

qq_43656233的博客

05-18

2963

代码实现 import requests from bs4 import BeautifulSoup res = requests.get(url="https://.aspx") # 网站输入自己需要爬取的网站 soup = BeautifulSoup(res.text,"html.parser") subject = soup.findAll(attrs={"class":"field ui-field-contain"}) for sub in subject: question=sub

Fiddle抓包工具

06-01

Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据，实现抓包效果

问卷星问卷抓包分析

动感超人的博客

06-28

5435

如图,可以看到提交是数据,我们先以来进行全局搜索这次全局搜索注意点在没有提交之前进行全局搜索搜索才可以搜索到,不然提交完成后全局搜索什么都搜索不到如图,没有提交之前搜索,可以看到关键字就在网页源代码里面~所以每次请求网页都会发生变化 jqsign参数加密分析加密关键js和代码,如图代码...

python爬取问卷星内容_python问卷星爬虫bug求助

weixin_39589557的博客

12-07

884

[TOC]原bugMaxRetryError: HTTPConnectionPool(host='127.0.0.1', port=9659): Max retries exceeded with url: /session/14150baedf86c6930897efe3675806f3/element (Caused by NewConnectionError(': Failed to est...

拿下微信认证的问卷星

凯峰的日志

06-29

2361

对于这个问题，我的考虑是，在计算机的当下，如何解决我老错别字问题，手输肯定是不行的。上图就是抓包结果，我就不重复贴图了，我这里就简单分析一下，首先vm中第一个是最初访问的请求接口，第二个则是通过 open.weixin.qq.com中完成认证获取到相应code值后的请求。没有安装CA证书的话，就算走代理，抓到的也是https加密过的，无法用于分析。通过调试页面搜索关键字，找到了对应JS代码文件，往下找了找，当我看到上面这串代码时候，感觉看到了希望，好嘛在明显不过了，这跳过登录的函数都给我们准备好了呀。

第二次作业问卷星操作

weixin_30586085的博客

11-11

994

一.明确调查内容 LOL玩家调查问卷二.设计预期效果针对大学生对LOL的热爱程度三.开始编辑（1）登录帐号　　 (2). 问卷星登录（3）.创建新问卷（4）.预览检查转载于:https://www.cnblogs.com/gyt123/p/7819081.html...

利用Fiddler实现调查问卷的自动提交

weixin_33728708的博客

12-25

631

2019独角兽企业重金招聘Python工程师标准>>> ...

微信手机端调试抓包总结与问卷星手机端的自动化

四位的博客

07-07

2904

本文分为两个部分, 一个是如何对微信内网页调试抓包的总结另一个是wjx的问卷填写. 总结部分诸如"ks.wjx.top"的为考试卷, 估计也一般设置为要求微信登录. 一共做过两次, 有强制微信手机登录, 也有可以用电脑微信做的. 我自己发的测试问卷首先是去遮罩, 看到题, 调试可以用浏览器改useragent来模拟微信浏览器, 也可以直接下微信开发者工具调试. 控制台直接show_zhezhao_utlis(0,1)即可, 当然还是处于需要登录的状态实现试卷只是第二课堂加分用, 前几名加的比较多.

自己写一个全自动打卡器——基于问卷星

nick131410的博客

05-01

3448

自己写一个全自动打卡器——基于问卷星想必大家最近都有过这样一个经历，就是——自己明明很想睡觉但却不得不起床打卡。有没有什么偷懒的方法解决方案？当然有。偷懒是不好的，个人建议大家每天认真填写打卡，帮助控制疫情！怎样实现？其实思路很简单，首先我们要知道打卡的本质是什么，无非就是发送一个数据包嘛。那我们只需用照着一个数据包的模板，每天自动发一次不就行了吗，就是这么简单。需要什么技术...

记一次简单的js逆向分析

李玉峰的博客

07-05

2521

简单的js逆向

问卷星爬虫后台数据

最新发布

02-03

### 使用爬虫抓取问卷星后台数据的方法 #### 法律与道德考量在考虑使用任何自动化工具访问或收集来自在线服务平台的数据之前，重要的是要了解并遵循适用法律以及服务条款。未经授权地尝试获取受保护的后端数据可能违反法律法规和服务提供商的规定。 #### 技术挑战当涉及到像问卷星这样的平台时，存在几个主要的技术障碍需要克服： - **登录验证机制**：许多Web应用程序采用复杂的认证流程来防止未授权访问。 - **动态加载的内容**：现代前端框架可能会异步请求页面上的某些部分，这使得传统的HTML解析方法难以捕捉完整的DOM结构[^1]。 - **反爬措施**：为了阻止恶意行为者滥用其资源，网站通常部署各种形式的安全策略，比如验证码、IP封禁等。 #### 实现方案概述尽管直接针对特定平台提供详细的代码实现不合适，可以给出一个通用性的指导方针用于合法合规的研究目的下的开发工作流： 1. 尊重目标站点的服务协议； 2. 如果允许公开API接口，则优先利用官方提供的途径而非自行构建爬虫程序； 3. 对于静态网页内容可借助`requests`库发起HTTP请求，并配合`BeautifulSoup`或其他类似的HTML解析器提取所需信息；对于AJAX调用产生的JSON响应可以直接通过URL参数调整获得原始数据； 4. 面对JavaScript渲染后的复杂界面，Selenium WebDriver是一个不错的选择因为它能够模拟真实浏览器环境执行脚本操作完成交互过程后再读取最终呈现出来的文档对象模型(DOM)[^4]。 ```python from selenium import webdriver import time options = webdriver.ChromeOptions() driver = webdriver.Chrome(chrome_options=options) try: url = 'https://www.wjx.cn' driver.get(url) # 假设这里有一个简单的用户名密码输入框和提交按钮 username_input = driver.find_element_by_name('username') password_input = driver.find_element_by_name('password') submit_button = driver.find_element_by_id('submit') username_input.send_keys('your_username') password_input.send_keys('your_password') submit_button.click() # 等待一段时间让页面完全加载完毕 time.sleep(5) finally: driver.quit() ``` 请注意上述示例仅作为概念证明展示如何启动Chrome驱动实例并向指定网址发送GET请求，在实际应用前还需补充必要的异常处理逻辑以应对可能出现的各种情况。