梦魇皇朝的博客

引入了shell的多线程，但是正则表达式还是有问题，导致图片和命名不一致，还缺少几个图片，有时间定位下问题顺便考虑下如何优化正则表达式。#/bin/bash# 设置并发的进程数thread_num=5a=$(date +%H%M%S)# mkfifotempfifo="my_temp_fifo"mkfifo ${tempfifo}# 使文件描述符为非阻塞式exec 6<>${tempf...

今天自己用某云搭建了一台nfs共享，因为自己更喜欢在linux主机上调试，搭建好以后打算mount 到mac上，发现一下提示MacBook-Pro-4:~ caicloud$ sudo mount -t nfs x.x.x.x:/data nfs1/mount_nfs: can't mount /data from x.x.x.x onto /Users/caicloud/nfs1: Op...

获取1000个用户看的电影信息#/bin/bash# name: get_see_movies.sh# version: 1.0# ceateTime: 2018-08-12# description: 输入豆瓣用户id,获取所有看过的电影以及评分，标签等，并存到数据库中# author: mengyanhuangchao# ema...

数据定向到mysql数据库中，并备份到本地文件#/bin/bash# name: get_see_movies.sh# version: 1.0# ceateTime: 2018-08-12# description: 输入豆瓣用户id,获取所有看过的电影以及评分，标签等，并存到数据库中# author: mengyanhuangchao...

#/bin/bash# name: select_movie.sh# version: 1.0# ceateTime: 2018-08-18# description: 输入豆瓣用户id，得出来豆瓣用户看过电影的类型便签# author: mengyanhuangchao# email: 406993906@qq.com...

摒弃了多线程，发现多线程和单线程用的时间差不多，多线程情况下存在统计错误的情况，有待排查原因。#/bin/bash# name: data_analysis.sh# version: 1.0# ceateTime: 2018-08-10# description: 输入豆瓣用户id，得出来豆瓣用户看过电影的类型便签# author: mengyanhuangchao# em...

环境是centos6，发现非root用户在vi粘贴是没有问题的，root用户用vi粘贴首行很多缩进和空格，大概情况如下 if [[ $parameter_1 == "--download" || $parameter_1 == '-d' ]];then if [ -n "$(echo $parameter_2| sed -n "/^[0-9]\+$/p")" ];then ...

开始用数组来下载前25部电影，结果是ok的！#!/bin/bashmovename=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $4}'`pictureurl=`curl https://movie.douban.com/top250 |grep '<img widt...

#/bin/bash# 设置并发的进程数thread_num=5a=$(date +%H%M%S)# mkfifotempfifo="my_temp_fifo"mkfifo ${tempfifo}# 使文件描述符为非阻塞式exec 6<>${tempfifo}rm -f ${tempfifo}# 为文件描述符创建占位信息for ((i=1;i<=${thread_num};i++...

有这样大一个需求，获取豆瓣大V粉丝观影数。我开始觉得这种应该很好获取，通过使用shell利用grep和awk 几行就可以搞定了，后来我发觉需要使用登陆才能获取豆瓣用户关注人，我打算利用curl 带cookie来实现登陆，不过都失败了，所以我利用python实现登陆，然后调用shell来获取一些用户信息，具体代码如下：python脚本：#-*-coding:utf-8-*-import ...