创建就不说了,直接撸代码 运行环境:python 3.6.0 #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2019-04-01 22:30:10 # Project: qunar from pyspider.libs.base_handler import *
今天来分享一下如何在windows环境下安装配置scrapy和新建scrapy项目 准备环境 1.python3.6 2.pip命令 配置scrapy环境 首先,win+R快捷键打开cmd命令,如果执行如下命令由于网络问题出错的话,就重试一下
之前做爬虫的时候经常需要selenium模拟,我经常用的是Firefox和Chrome浏览器,但是在使用的时候总是会打开浏览器才能正常抓取数据,无奈之下下载了PhantomJS,但是呢PhantomJS其实官方已经放弃维护了,所以在运行程序的时候经常会被提示其已被弃用,经常会以为自己是代码出问题了。
今天来介绍一下如何用Python3的内置模块搭建一个简单的服务器,Python自带有服务模块 而且python3相比于python2有很大不同之处,在Python2.x版本里,Python目录中含有BaseHTTPServer.py, SimpleHTTPServer.py, CGIHTTPServer.py文件,但是在Python3.x中,上面提到的模块http/server.py文件里了
一、下载redis 官网上下载过程容易出现问题,建议到github上面下载,下载完之后直接解压缩即可用 https://github.com/MicrosoftArchive/redis/releases ps:文件(redis数据库)位置自己可以移动至其他位置