隐约雷鸣,阴霾天空。

爬取pixiv每日排行榜并上传到OneDrive

最近闲的无聊想找点图看,然后想到了pixiv。说到爬虫自然就是python了。先上github看看有没有现成的。

找到一个,那我也不用自己写了。github:https://github.com/Neod0Matrix/PixivCrawlerIII

因为项目用的是python3,所以先装好python3.在此处不做说明。

  1. 爬取项目到本地
    git clone https://github.com/Neod0Matrix/PixivCrawlerIII.git
    cd PixivCrawlerIII
    pip3 install -r requirements.txt //安装依赖
  2. 运行脚本并配置
    python3 pixivcrawleriii.py
    按照提示信息配置好就行了。
  3. 相关命令行

    抓取某个画师的全部图片,xxxx是画师id
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 2 -i XXXX
    抓取当天r 18排行版
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 2 -l 1 -s 0
    抓取本周r 18排行版
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 2 -l 2 -s 0
    抓取当天普通排行版
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 1 -l 1 -s 0
    抓取本周普通排行版
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 1 -l 1 -s 0
    抓取本月普通排行版
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 1 -l 3 -s 0

  4. 注意事项
    抓取的文件位置
    /sdcard/Pictures/Crawler

到这里为止爬取的部分就结束了,然后想要上传到onedrive的话,有很多如oneindex,PyOne之类的可以拿来用,这里我们用PyOne来举例

环境配置

Github地址:https://github.com/abbeyokgo/PyOne
首先得配置环境,嫌麻烦的可以安装宝塔面板。如何安装这里不做说明。
环境要求:Python2.7、Redis、Mongodb、Nginx
安装好上面的东西后,从github把项目拉下来。
  1. 安装
    git clone https://github.com/abbeyokgo/PyOne.git
    cd /root/PyOne
    pip install -r requirements.txt //安装依赖
    #复制配置文件
    cp self_config.py.sample self_config.py
    cp supervisord.conf.sample supervisord.conf
    如果当前不是在root目录下,则需要修改self_config.py的config_dir参数和supervisord.conf的directory参数为正确的目录!
  2. 运行

    gunicorn -w4 -b 0.0.0.0:34567 run:app
    如果没有报错的话,访问网页,然后把命令放到后台就可以了
    后台默认密码是PyOne
    然后添加网盘授权,如何授权此处不做说明,网页端有提示。

  3. 计划任务
    在宝塔的计划任务里添加如下代码,你也可以用其他方法实现计划任务。
    P站的排行榜是每天中午12点刷新,所以建议把运行脚本的时间设置为每天中午12点后。
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 2 -l 1 -s 0
    mv /sdcard/Pictures/Crawler /任意文件夹/r18
    python /root/PyOne/function.py UploadDir /任意文件夹/r18 /R18 C
    cd /root/PixivCrawlerIII&&python3 pixivcrawleriii.py -m 1 -r 1 -l 1 -s 0
    mv /sdcard/Pictures/Crawler /任意文件夹/r16
    python /root/PyOne/function.py UploadDir /任意文件夹/r16 /R16 C
    python /root/PyOne/function.py UpdateFile
    rm -rf /任意文件夹/*
    以上代码视情况自行修改。

添加新评论