Python爬虫之windows10安装scrapy

Python爬虫之windows10安装scrapy

一、scrapy的配置

第一次写博客,既可以分享学习,也可以记录下自己学习时遇到的问题,如果日后再需要也方便自己使用,当做补充,上网搜了好多类似的分享,总算可以弄成功了。有点小紧张,嘻嘻,加油,希望对我们学习都用帮助!(我的是win10 64位,如果不是可以搜索相关的设置,我没有尝试,我在已经装好Python3.5版本下,如果没有安装Python,请先安装Python再进行下面
可以参考:https://www.cnblogs.com/Alier/p/6362652.html)

1、配置lxml模块

国内源参考:https://www.cnblogs.com/sunnydou/p/5801760.html

	pip install lxml -i http://mirrors.aliyun.com/pypi/simple/

2、配置cryptography模块

	pip install cryptography -i http://mirrors.aliyun.com/pypi/simple/

3、配置pywin32模块

	pip install pywin32 -i http://mirrors.aliyun.com/pypi/simple/

4、 配置setuptools模块

	pip install  setuptools -i http://mirrors.aliyun.com/pypi/simple/

5、 配置Twisted模块

这个我当时需要下载安装,出现报错缺VC++ 14.0解决措施,类似:https://blog.csdn.net/weixin_42117682/article/details/81412257

你可以先尝试安装试试:

	pip install Twisted -i http://mirrors.aliyun.com/pypi/simple/

报错再去下载网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

6、配置pyOpenSSL模块

	pip install pyOpenSSL -i http://mirrors.aliyun.com/pypi/simple/

7、配置scrapy模块

	pip install scrapy -i http://mirrors.aliyun.com/pypi/simple/

剩下就可以去爬取网站测试了!!!

参考学习博客链接:

1、超简单Windows安装Scrapy (仅需一步)
https://www.cnblogs.com/lfoder/p/6565088.html
2、Twisted-18.7.0-cp37-cp37m-win_amd64.whl下载,以及安装Scrapy时,报错缺VC++ 14.0解决措施
https://blog.csdn.net/weixin_42117682/article/details/81412257
3、下载Twisted网址
https://www.lfd.uci.edu/~gohlke/pythonlibs/
4、安装下载的Twisted
https://www.cnblogs.com/zfquan/p/8093297.html

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值