python爬虫面试题

最新推荐文章于 2024-04-29 13:20:45 发布

原创

最新推荐文章于 2024-04-29 13:20:45 发布 · 685 阅读

3 ·

CC 4.0 BY-SA版权

这篇博客涵盖了Python爬虫面试的常见问题，包括shell命令的使用、Python函数和基础概念，如进程、线程和协程的区别，以及HTTP协议中GET和POST请求的区别。在爬虫部分，讨论了Scrapy框架的工作原理、Scrapy-Redis的使用，以及反爬虫策略和应对方法。数据库方面，涉及了MySQL的索引类型、优化技巧以及MyISAM和InnoDB引擎的区别。此外，还提及了Redis数据类型在爬虫中的应用。

shell命令

1.怎么查看一个文件第100行数据
思路：通过head和tail指令搭配，head指令查看前面多少行，tail指令查看后面多少行，举例：某log日志有很多很多行，我们获取他的第40行的数据，思路就是先用head获取前40行，然后tail获取最后一行，这样我们得到的就是第40行的数据了。

cat data.txt | head -100 | tail -1 
head -100 data.txt | tail -1
nl data.txt | sed -n '100p' 
sed -n '100p' data.txt
awk 'NR==100' data.txt

从第3000行开始，显示1000行。即显示3000~3999行
cat filename | tail -n +3000 | head -n 1000

显示1000行到3000行
cat filename| head -n 3000 | tail -n +1000

2.怎么查看一个程序的端口号

查看python对应的进程号
ps aux | grep python
ps -ef | grep python

根据进程id查看端口好
netstat -nap | grep pid

杀死进程
kill -9 pid  # 强制杀死
kill pid

3.linux中怎么让程序在后台运行

nohup  ./pso > pso.file 2>&1 &
pso 是 程序文件名 
pso.file 是 保存输出信息的文件
nohup scrapy crawl xxx &

4.怎么查看服务器状态,包含磁盘、内存、cpu
top

python函数

1.列表逆序

list[::-1]
list.reverse()  # 改变原来列表
reversed(

最低0.47元/天解锁文章