linux安装chrome和scrapy遇到的坑

最新推荐文章于 2024-03-12 19:44:56 发布
最新推荐文章于 2024-03-12 19:44:56 发布
阅读量232 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iam2cc/article/details/112632357
版权

Linux中安装chrome，并让selenium驱动跑起来

前置条件：已经装好python环境

环境准备：

安装好之后下载chromedriver

https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

然后在路径下面安装chrome

发现报错

说明依赖还没有安装完全

检查依赖来源：

 yum provides */libvulkan.so.1

安装依赖 yum -y install vulkan-1.1.97.0-1.el7.x86_64

再一次执行rpm -ivh google-chrome-stable_current_x86_64.rpm 

安装成功

在root下面是无法打开chrome ，需要配置参数

把下载好的chromedriver放在/bin下面

mv chromedriver /usr/bin/

配置777权限

设置好参数即可调动浏览器，options（）即是启动参数

下面是windos环境下面安装scrapy模块遇到的问题

但是我安装了14.0以上的版本的，根据网上查找的文章

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载它，cp后面是你的py版本。

然后使用pip install C:\Users\Administrator\Downloads\Twisted-20.3.0-cp38-cp38-win_amd64.whl

发现64位安装不上，下载32位的。安装好后。scrapy顺利安装。

python爬虫延迟加载_当Scrapy遇到延迟加载
weixin_39517289的博客
11-26 1150
相信大家在爬取一些数据时会经常会遇到延迟加载的页面（例如某东），这就会造成所写的爬虫程序不能完整的抓取到整个页面的数据，下面就来介绍一下如何解决此类问题。若想让页面显示完整须用代码模拟鼠标向下滚动的动作，Selenium就完全可以胜任这个任务，Selenium是免费的分布式的自动化测试工具，支持多平台：windows、linux、MAC ，支持多浏览器：ie、ff、safari、opera、chr...
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
m0_67844671的博客
05-31 6439
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
linux chrome下载 scrapy下载 mysqldb下载
weixin_39852200的博客
08-15 340
2017-8-15 添加谷歌的官方软件源 打开一个终端，使用下面的命令编辑sources.list源文件。 sudo nano /etc/apt/sources.list 复制下面一行文字，将它粘贴到sources.list文件的末尾。 deb http://dl.google.com/linux/chrome/deb/ stable main 保存文件。然后使用wget下载谷
scrapy爬虫项目部署到linux上的步骤，虚拟环境创建，chrome浏览器安装+selenium
Argonum的博客
06-09 691
首先在你的文件夹中安装虚拟环境 sudo pip3 install virtualenv # 安装虚拟环境 sudo pip3 install virtualenvwrapper # 安装虚拟环境扩展包 vim /home/Argonum/.bashrc # 编辑自己文件夹下面的.bashrc文件，输入一下代码： # 按一下i进入编辑模式，按一下esc退出编辑模式，然后按：wq，是保存，：q！是强制退出 if [ -f /usr/local/bin/virtualenvwrapper.sh ]; t
CentOS7安装谷歌浏览器及解决google-chrome无法启动
m0_73126799的博客
09-15 5533
( 或在终端用命令复制 # cp /usr/share/applications/google-chrome.desktop /root/桌面/ )为：Exec=/usr/bin/google-chrome-stable %U --no-sandbox。即：/usr/bin/google-chrome-stable %U --no-sandbox。修改：Exec=/usr/bin/google-chrome-stable %U。桌面图标右击-->属性-->启动命令后添加“--no-sandbox”
【linux】解决centos 7系统root用户下Chrome无法启动问题
热门推荐
tiandaochouqin99的博客
03-21 2万+
由于ucentos 7系统自带的是Firefox浏览器，需要安装Chrome浏览器，但是在root用户下安装后发现，Chrome无法正常启动。安装及问题解决具体如下： 1. 官网下载 https://www.google.cn/chrome/ google-chrome-stable_current_x86_64.rpm 2. 双击此文件进行安装，或者rpm -ivh google-chr...
Linux/CentOS安装软件常见问题？纯小白经验
凪
09-26 1340
linux安装软件
Scrapy安装所需要的软件.rar
04-20
总结来说，安装和使用Scrapy涉及Python环境的搭建、pip的安装、Scrapy的安装、可能的辅助工具（如Selenium、Git）以及对Scrapy核心概念的理解和应用。同时，良好的开发文档能提升项目的专业性和可读性，对于毕业设计...
爬虫基础分享Scrapy框架流程图与安装
世上本无鬼
09-13 1278
从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑。所以，我们一起来了解开源的爬虫框架Scrapy。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中，并且是跨平台的，在Linux、MaxOS以及windows平台都可以使用。 1.Scrapy主要包括了以下组件： 引擎(Scrapy)：
scrapy爬取某网站,模拟登陆过程中遇到的那些坑
amaomao123的专栏
09-12 1万+
最近接触scrapy,爬取了几个网站,用着还挺顺手的. 前几天,一个做业务的同事让我帮他爬取一个网站上的用户信息,我就满口承诺下来了.毕竟,通过前几次的爬取,已经自信心爆棚了(从此入坑). 拿到一个网站之后就是先分析网站,分析之后发现需要的数据要登陆才能看到.这个可难不倒我,不就是模拟登陆吗,小菜一碟. 用chrome分析一下,看到有用户名,密码,还有其他两个校验值.另外还有一
关于Centos7中安装Google Chrome以及浏览器无法打开的解决办法
GoldBear98的博客
11-12 3749
问题： 可能是配置的问题，我的centos7虚拟机中自带的火狐浏览器无法正常使用，表现为双击Firefox图标后光标会变成旋转的圆环，一段时间后消失。如果虚拟机中的火狐浏览器用不了的话，那么许多操作都无法完成，下载一个能用的浏览器成为当务之急。 解决办法： 一开始，我以为是火狐浏览器的问题，于是我决定下载一个其他的浏览器，最终我选择了Google Chrome。我先去了解了第一次作业中安装Goog...
在Ubuntu下安装数据包处理工具Scapy
俺就是菜的很的博客
07-18 2108
直接使用pip安装 pip install scapy 再sudo scapy，提示下列错误。 下面就是解决这个错误 cd /usr/lib/x86_64-linux-gnu/ 然后 sudo ln -s -f libc.a liblibc.a 5.再sudo scapy就可以用了
CentOS7安装Chrome浏览器 --和-- 遇到的问题汇总
nicg－Zone
04-27 1万+
简述先说下我的运行环境，win10系统，安装的VMware11，在虚拟机中安装的CentOS7，具体参考（CentOS7 的安装）。安装过程中提示了三次错误，参考了网上的修改意见最终安装成功。全程使用的主要命令如下：ls rpm yum sudo一、下载安装包下载地址：https://www.chrome64bit.com/index.php/google-chrome-64-bit-for-li...
在Linux上安装Chrome浏览器时遇到的问题
rainingna的博客
03-02 5740
在Linux上安装Chrome浏览器时遇到的问题一、权限问题二、地址问题三、架构不符问题 一、权限问题 运行：dpkg -i google-chrome-stable_current_amd64-1.deb 报错：dpkg：错误：所请求的操作需要超级用户权限 处理方式： sudo dpkg -i google-chrome-stable_current_amd64-1.deb [sudo] user 的密码：1234 出现需要超级用户权限的错误时，在原先命令前加上sudo。 sudo是linux系统管理
网络爬虫-liunx环境下部署selenium+chromedriver
qq_39802740的博客
08-24 1万+
由于一些万恶的网站需要加载js才能抓取数据，我们只能使用selenium去抓取，我们知道selenium如何在windows上跑，只需要将正确对应版本的chromedriver放在Python路径下或者配置PATH环境变量即可。 但是在linux环境下配置selenium+chrome需要配置的环境就很麻烦了，网上的教程也不太全面，我将我花了一天时间查阅的各种资料以及各种报错整理下来，供大家参考...
centos7安装google chrome出现的问题
java 帝国
01-21 1292
警告：google-chrome-stable_current_x86_64.rpm: 头V4 DSA/SHA1 Signature, 密钥 ID 7fac5991: NOKEY 错误：依赖检测失败： lsb >= 4.0 被 google-chrome-stable-34.0.1847.116-1.x86_64 需要 libXss.so.1()(64bit) 被 google-ch...
Scrapy+ChromeDriver+Selenium爬取动态html页面
fuck487的博客
06-29 9514
原文：https://blog.youkuaiyun.com/qq_30242609/article/details/70859891Headless组件ChromeDriverselenium3.x已经不支持PhantomJS，所以可以使用firifox或者chrome的headless方案SeleniumSelenium是一个自动化的测试工具，这里主要用到了它的Webdriver操作浏览器。python下...
开发板及虚拟机安装scapy发包工具方法
hqq2312的博客
03-12 606
Scapy是一个强大的，用Python编写的交互式数据包处理程序，它能让用户发送、嗅探、解析，以及伪造网络报文，从而用来侦测、扫描和向网络发动攻击。Scapy可以轻松地处理扫描(scanning)、路由跟踪(tracerouting)、探测(probing)、单元测试(unit tests)、攻击(attacks)和发现网络(network discorvery)之类的传统任务。它可以代替hpingarpspoofarp-skarpingp0f甚至是部分的Nmaptcpdump和tshark的功能。
Ubuntu下Scrapy安装
duanyajun987的博客
08-06 1万+
  在这篇文章中将记录我在Ubuntu下安装Scrapy。 废话不多说，下面进入正题。 我的系统版本： Ubuntu 14.10 由于此次安装主要通过命令下载安装，因此需要保证网络通畅。 安装的流程和在Windows下几乎一样，首先安装Python，其次再是各种插件的安装。由于Ubuntu已经自带了Python，因此就不在需要重新安装Python了。我的Ubuntu自带的Python版本是...
scrapy环境搭建
最新发布
01-28
### 安装和配置Scrapy框架 #### 支持的操作系统 Scrapy支持多种主流操作系统，包括Windows、macOS以及Linux。对于每种不同的操作系统，在安装过程中可能会遇到一些特定的情况。 #### Python环境准备 为了确保能够顺利安装Scrapy，建议先确认本地已正确安装Python版本（推荐使用Python 3.6及以上），并设置好pip工具以便后续操作[^1]。 #### Windows平台下的安装过程 在Windows环境下，可以通过命令提示符执行以下指令来完成Scrapy的安装： ```bash pip install scrapy ``` 需要注意的是，在某些情况下可能还需要额外安装Microsoft Visual C++ Build Tools以满足编译依赖的需求[^4]。 #### macOS平台上的安装方法 针对macOS用户来说，除了通过pip直接安装外，也可以利用Homebrew包管理器来进行更便捷的操作: ```bash brew install python pip install scrapy ``` 这能有效简化整个流程，并减少可能出现的问题[^2]。 #### Linux发行版中的应用实例 大多数现代Linux发行版自带了较新的Python解释器，默认仓库里也包含了Scrapy软件包；不过出于稳定性和兼容性的考虑，仍然推荐采用pip方式更新至最新发布版本： ```bash sudo apt-get update && sudo apt-get upgrade -y pip install --upgrade pip setuptools wheel pip install scrapy ``` 上述步骤适用于Debian及其衍生系列如Ubuntu等常用桌面级Linux系统[^3]。 #### 配置Settings.py文件 无论在哪种平台上成功安装完毕之后，都需要进入项目的根目录找到`settings.py`文件做进一步调整优化。例如，可以修改User-Agent模拟浏览器访问行为，关闭对robots.txt协议的支持等选项，具体代码片段如下所示： ```python USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' ROBOTSTXT_OBEY = False ``` 以上措施有助于提高抓取效率的同时降低被目标网站识别为恶意爬虫的风险。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值