自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhaojiafu的博客

好记性不如烂笔头,何况我记性还不好。。。。

  • 博客(19)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 爬虫之1--响应编码发爬

本次分析爬虫中的寻找响应乱码,找到正确编码格式的俩种方法:方法1编码加密,一般响应之后进行解码即可,但是除了单个字体js加密的除外,那种需要其他方法。一般编码格式有utf-8、gbk、gb2312,如果preview和response的内容一直,则编码就是utf-8.如下加密情况,可以看出不是utf-8的编码格式,需要进行对应的解码:然而响应的内容却是正常的,从文中找到charset...

2019-04-28 17:31:58 133

原创 selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element

1、说明:当我使用selenium爬虫训练获得的列表时,中间报了这个错误,感觉很纳闷,没有问题怎么会出异常呐,所以就百度了一下,找到了一个对我这种情况的方法:最后找到原因就是如果循环使用自己之前定位的元素发生变化,至于为什么,我也不太懂。...

2019-04-28 16:13:00 2988

原创 pytube.exceptions.RegexMatchError: regex pattern (\W[\'"]?t[\'"]?: ?[\'"](.+?)[\'"]) had zero matc问题

之前能用的代码爬取YouTube视频,突然pytube模块不能用了,很惊奇,就用Google搜了一下:最终找到可解决方案:参考搜索解决问题网址:https://github.com/nficano/pytube/issues/381意思就是需要找到报错的extract.py文件,将下面几句注释就可以了。extract.py文件路径:Python36是我的安装python软件路径。P...

2019-04-28 13:25:48 371 2

原创 python3之url编码互转

1、url编码#先引入模块from urllib.request import quoteff = '摄像头'ff = quote(ff)print(ff)2、url解码# 解码是另一个模块from urllib import parseaa = '%E6%91%84%E5%83%8F%E5%A4%B4'ret = parse.unquote(aa)print(ret)...

2019-04-26 11:45:57 1030

原创 python 爬虫之报错 requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

当爬虫时报错:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.可以 request请求时添加allow_redirects=False,默认时allow_redirects=True,所以这样就可以解决我的问题了。resp = requests.get(url=url, headers=headers,allow_red...

2019-04-25 17:54:17 9573 1

原创 短网址生成api使用教程

http://api.t.sina.com.cn/short_url/shorten.json?source=3271760578&url_long=此处替换成你要缩短的网址使用方法就是将上面中文换成你想转换的长地址,比如我想换:https://blog.csdn.net/weixin_42081389/article/details/89381735把下面这行直接复制到浏览器:h...

2019-04-22 15:26:23 374

转载 selenium之常见异常

selenium的常见异常Exceptions(异常)Python 自带的异常,所有异常的基类。异常:  selenium.common.exceptions.ElementNotSelectableException(msg=None, screen=None, stacktrace=None)依据: selenium.common.exceptions.InvalidEleme...

2019-04-18 16:25:35 648

原创 python 之使用selenium滑动页面下拉方式

若要对页面中的内嵌窗口中的多个滚动条进行操作,要先定位到该内嵌窗口,在进行滚动条操作使用这个方法:(其中,scall是这个div的class的名字,如过就一个这种div,直接中括号后面用0就可以,如果多个滑动div的class的name一样,需要先找找你需要下拉的div是第几个,如果是第三个,把下面[0],改为[2]) js='document.getElementsByClassName("...

2019-04-18 15:34:34 5380 3

原创 windows安装MySQL

参考:https://blog.csdn.net/wdx1121/article/details/79523254https://blog.csdn.net/zhangjing1019/article/details/803621881、下载MySQL打开 https://www.mysql.com/ 官网点击downloads加载完成,滑到底部,点击Community (GPL) ...

2019-04-15 14:43:03 79

原创 深度学习问题1:ValueError: Expected 2D array, got 1D array instead:

当运行python多元回归,进行预测时报错:ValueError: Expected 2D array, got 1D array instead:代码:from numpy import genfromtxtfrom sklearn import linear_modeldatapath=r"Delivery_Dummy.csv"data = genfromtxt(datapath,...

2019-04-11 17:44:28 783

原创 2019各个省会城市全新DNS大全一

114.114.114.114 和 114.114.115.115114.114.114.114/114.114.115.115114.114.114.119 和 114.114.115.119114.114.114.110 和 114.114.115.110谷歌DNS服务器8.8.8.8/8.8.4.4IBM的DNS服务器9.9.9.91.1.1.1168.95.192.1168...

2019-04-09 15:33:25 21051

原创 python logging的使用

因为每次需要查找麻烦,所以把找到几个不错的别文档链接自己留下来,方便日后需要查找。参考:1、https://blog.csdn.net/liuchunming033/article/details/390804572、官方文档https://docs.python.org/3/library/logging.html3、更详细的汉语讲解:https://blog.csdn.net/zy...

2019-04-09 10:02:17 39

原创 scikit-learn 关于svm进行人脸识别使用报错的问题

问题1、ModuleNotFoundError: No module named 'sklearn.cross_validation’这个错是导入from sklearn.cross_validation import train_test_split报的错。主要是因为这个模块有更改,将这一句改为下面即可:from sklearn.model_selection import trai...

2019-04-08 17:35:03 3498 19

原创 np.c_和np.r_

demoimport numpy as npa = np.array([1, 2, 3])b = np.array([4, 5, 6])c = np.c_[a,b]print(np.r_[a,b])print(c)print(np.c_[b,c])结果[1 2 3 4 5 6][[1 4] [2 5] [3 6]][[4 1 4] [5 2 5] [6 3 6]]...

2019-04-08 14:57:35 40

原创 shutil实现对文件或者文件夹的复制,移动

官方文档:https://docs.python.org/3.6/library/shutil.html复制文件:shutil.copyfile(“oldfile”,“newfile”) #oldfile和newfile都只能是文件shutil.copy(“oldfile”,“newfile”) #oldfile只能是文件夹,newfile可以是文件,也可以是目标目录复制文件夹:shu...

2019-04-04 16:48:16 1214

原创 推荐几个测试能接受邮件的临时邮箱

1、http://www.yopmail.com/zh/email-generator.php2、https://temp-mail.org/zh/3、http://24mail.chacuo.net/4、https://www.linshiyouxiang.net/5、https://10minutemail.net/readmail.html?mid=jUpbJu6、https://...

2019-04-03 16:50:49 2650 1

原创 Linux 系统查看磁盘与文件夹大小命令

两个命令df 、du结合比较直观df -h 查看整台服务器的硬盘使用情况cd / 进入根目录du -sh * 查看每个文件夹的大小du -h * 查看每个文件夹的大小du -h “文件名” 查看这个“文件名”的大小du -lh --max-de...

2019-04-03 10:04:44 377

原创 爬虫InsecureRequestWarning警告处理

将request请求设置verify=False时,如下面,会出现下面的警告错误,response = requests.get(url=url, headers=headers, verify=False)InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verificatio...

2019-04-02 14:59:36 296

原创 爬虫requests.exceptions.SSLError错误

报错:OpenSSL.SSL.Error: [(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)]完整错误Traceback (most recent call last): File "C:\Users\wb-zjf497303\AppData\Roaming\Python\Pyt...

2019-04-02 14:08:51 1609

杭州2019垃圾分类新规.pdf

新《条例》三大变化   变化1 :餐厨垃圾改名易腐垃圾   新《条例》中,杭州市生活垃圾分为四类,分别是:可回收物、有害垃圾、易腐垃圾和其他垃圾。   这样的“四分法”,和以前一样,最直观的变化,是以前的“餐厨垃圾”改名为“易腐垃圾”。曹勐琦强调,虽然名字改了,但分类方式还是一样。   还有一个大家比较容易搞错的,就是“其他垃圾”桶的颜色。目前,在杭州市内,其他垃圾投入黄桶或灰桶都可以。但根据国家、省最新垃圾分类标准编制情况,“其他垃圾”桶将确定为灰色,现在杭州市“其他垃圾”桶所用黄色将在2020年底前逐步更新。   变化2:大件垃圾投放调整   大件垃圾,一般是以废旧垃圾为主,这也是城市难题。这次新《条例》也特别对大件垃圾的处置做了调整。   按照原来的《条例》,对家具等体积大、整体性强,或者需要拆分再处理的大件垃圾,需要预约再生资源回收站点上门进行有偿处理。新《条例》规定,大件垃圾今后将实行定时定点收集、运输。收集、运输的时间和地点由市容环境卫生主管部门确定并公告。   曹勐琦解释,今后对于有条件的小区,可以在小区内设置专门的大件垃圾投放点,居民把垃圾统一放在这个区域内,集中定点清运;对于没有条件设置的小区,就实施定时清运,居民只有在固定时间才能投扔大件垃圾。   变化3:处罚力度加大了 1.乱丢垃圾、错丢垃圾,新《条例》规定,个人处以“200元以内罚款”,单位将处以“500元以上5000元以下罚款”。2.管理不力,主要针对物业、居委会等垃圾分类投放管理责任人的处罚,新《条例》提高到了500元以上5000元以下,情节严重的,处以5000元以上30000元以下罚款。3.垃圾混装,对生活垃圾收集、运输单位处以5000元以上30000元以下罚款,情节严重的处以30000元以上100000元以下的罚款。

2019-10-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除