Python爬虫框架Scrapy 学习

发布时间：2019-09-20 07:35:27编辑：auto阅读（2916）

    开发环境PyCharm

    目标网站和上一次一样,可参考：http://dingbo.blog.51cto.com/8808323/1597695

    但是这次不是在单个文件中运行，而是创建一个scrapy项目


    1.使用命令行工具创建scrapy项目的基本目录结构

    wKiom1SrRJKRikepAAQI8JUhjJ0168.jpg


    2. 编辑items.py


    wKiom1SrSOKwiY7hAAEHISDRDTU720.jpg


    3.在spiders目录下，新建spider1.py

    wKioL1SrSgPBH7QLAAKfhKxMmOs295.jpg

    报错很正常

    我们按照scrapy project的目录结构导入了TorrentItem，而不是pyCharm project的目录结构


    4.运行spider

    wKioL1SrSuqg2ttgAAg_JV9F4PI884.jpg

    抓取到数据被存到文件mininova-data.json

关键字：

上一篇： python之网络爬虫

下一篇： GNS 3 报错