今天来分享一下如何在windows环境下安装配置scrapy和新建scrapy项目
准备环境
1.python3.6
2.pip命令
配置scrapy环境
首先,win+R快捷键打开cmd命令,如果执行如下命令由于网络问题出错的话,就重试一下
1.安装lxml
pip install lxml
2.安装pywin32模块
pip install pyWin32
3.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架
pip install twisted
如果此处安装报错,到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到适合自己版本的twisted下载
下载完毕后,安装方法为cmd命令进入刚刚下载的文件的所在路径,然后执行如下命令
pip install [刚才下载的文件名字]
4.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口
pip install pyOpenSSL
5.安装scrapy
pip install scrapy
这个时候scrapy环境就搭配完毕了。
新建scrapy项目
1.cmd命令进入你要创建项目的目录
2.执行命令 scrapy startproject template
此时就已经新建完了一个scrapy项目了
ps: scrapy 的项目目录
scrapy 项目目录
scrapy.cfg # Scrapy 部署时的配置文件
spiders # 放置 Spiders 的文件夹
__init__.py
items.py # Items 的定义,定义爬取的数据结构
middlewares.py # Middlewares 的定义,定义爬取时的中间件
pipelines.py # Pipelines 的定义,定义数据管道
settings.py # 配置文件