pyspider学习之---- windows安装pyspider模块

一、学习目标:

今天突然想安装下pyspider,一个python爬虫框架,但是发现我的python3.7安装不了,然后看了下pyspider模块,发现最大支持是python3.5,所以我就再安装一个python3.5版本的python。

二、安装步骤:

0、scrapy和pyspider对比

在这里插入图片描述
在这里插入图片描述

通过模块对比,发现pyspider好像都不怎么维护了,模块已经是2年前的更新了。不过项目看还有更新。

想学就学习一下吧。

1、安装python3.5版本的python

去官网下载即可

我现在的python3.5地址,也可以和我一样:

2、安装pyspider模块:

我这边直接使用pip命令安装安装不上,所以我直接python安装。
下载模块文件:
模块地址:
我下载的模块
在这里插入图片描述

下载之后,解压,然后在window的cmd中,进入解压的目录,
在这里插入图片描述

在这里插入图片描述

这个时候pyspider安装完成。

3、在cmd中输入pyspdier:

然后需要什么模块补什么模块:
比如举例其中一个例子:
在这里插入图片描述

我的安装的所有模块:
导出模块版本命令:

 pip freeze > packages.txt

packages.txt模块:

certifi==2020.6.20
chardet==3.0.4
click==7.1.2
cssselect==1.1.0
defusedxml==0.6.0
Flask==1.1.2
Flask-Login==0.5.0
idna==2.10
itsdangerous==1.1.0
Jinja2==2.11.2
jsmin==2.2.2
json5==0.9.5
lxml==4.6.1
MarkupSafe==1.1.1
pycurl==7.43.0.3
pyquery==1.4.1
pyspider==0.3.10
PyYAML==5.3.1
requests==2.24.0
six==1.15.0
tblib==1.7.0
tornado==4.5.3
u-msgpack-python==2.7.0
unknown==0.0.0
urllib3==1.25.11
Werkzeug==0.16.1
WsgiDAV==2.4.1

4、pycurl模块安装:

pycurl官网地址

我的模块【推荐下载我下载好的,因为蓝奏云不然上传whl结尾的,你解压一下,变成whl,然后使用pip install 然后把解压的whl文件拖到即可。】:
下载:https://wwa.lanzous.com/i8H3Uho811g 密码:7shq

在这里插入图片描述

5、最后,cmd执行:pyspider

在这里插入图片描述

然后打开:http://127.0.0.1:5000/

在这里插入图片描述

出现这个界面就是正常的显示了。

6、pyspider的官方使用文档和GitHub

我还没用过,具体还需要慢慢学习在总结,今天配置环境都搞了好久,干脆整理了出来。
官方使用文档
快速开始使用
pyspider模块GitHub地址:

如果对你有帮助,可以给我点个赞哈

参考:

https://blog.csdn.net/u011451186/article/details/88222328
https://blog.csdn.net/lang_niu/article/details/104501473

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值