python爬取海量表情包,让你成为群里的斗图王
最近加入了斗图群,发现自己的表情包太少了,斗不过他们。今天用Python实现批量抓取百度图片里面的表情包和他们决战。
需要实现的效果图:
![python爬取海量表情包,让你成为群里的斗图王](http://www.isolves.com/d/file/p/2020/05-25/a0b22429cc83f5a932e8e1b155cc3f3a.jpg)
目标
- 获取百度图片的URL,并且下载到本地
分析:
- F12检查来获取图片在源代码的位置。可是发现源代码里根本就找不到的。
![python爬取海量表情包,让你成为群里的斗图王](http://www.isolves.com/d/file/p/2020/05-25/4cfc91b31749c9900e65e4c0512920b3.jpg)
源代码
- 那就是通过动态加载完成的,我们来验证一下
![python爬取海量表情包,让你成为群里的斗图王](http://www.isolves.com/d/file/p/2020/05-25/65ab3256fa1f4ae6be350f966f6e8666.jpg)
- 果然是这样的,图片链接在这个数据包里面,thumbURL对应着url,而且还发现pageNum: 30这个参数,表示一个数据包里面有30条数据(也就是30个图片链接)
- 每一次请求的url参数,几乎都一样,只有一个参数是不同的,那就是pn,他指的是当前页面中已经展示的图片数目。
我们所需要的信息都已经找到,那么开始编写代码吧
import requests
class Spider(object):
def __init__(self):
# 初始化headers
self.headers = {
"User-Agent": "Mozilla/5.0 (macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/80.0.3987.149 Safari/537.36"
}
# 指定存储路径
self.path = '/Users/admin/Desktop/Image/'
self.page = int(input('请输入需要爬取的页数:'))
# 获取翻页url
def get_parse_url(self):
urls =[]
for i in range(1,self.page+1):
urls.append('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryword=%E8%A1%A8%E6%83%85%E5%8C%85&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=©right=&word=%E8%A1%A8%E6%83%85%E5%8C%85&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn={}&rn=30&gsm=1e&1586570843561='.format(30*i))
return urls
# 获取图片url
def get_immage_url(self,urls):
image_url = []
for url in urls:
response = requests.get(url,headers=self.headers).json()
results = response.get('data')
for i in results:
image_url.append(i.get('thumbURL'))
return image_url
# 存储
def storage_image(self,image_url):
i = 1 # 图片编号标记
for img_url in image_url:
print('正在爬取第{}张'.format(i))
if img_url is None:
continue
response = requests.get(img_url,headers=self.headers).content
with open(self.path + '{}.jpg'.format(i),'wb') as f:
f.write(response)
i +=1
def start(self):
urls = self.get_parse_url()
image_url = self.get_immage_url(urls)
self.storage_image(image_url)
spider = Spider()
spider.start()
代码解读:
- def __init__(self): 对我们所需要的url和headers等参数进行一个初始化。
- def get_parse_url(self): 获取数据包url的翻页
- def get_immage_url(self,urls): 获取图片url
- def storage_image(self,image_url): 对下载的图片存储到指定位置
- def start(self): 把所有的方法整合,方便调用。
最终效果图:
![python爬取海量表情包,让你成为群里的斗图王](http://www.isolves.com/d/file/p/2020/05-25/345e552c1a463277e43d57c0f31f977c.jpg)
总结
- 本章学习了如何实现爬取海量的表情包,斗图再也不怕图不够了
- 代码定制了爬取的数量,一页是30个表情包,可以根据需求输入爬取的数量
如果本文对你有帮助,帮忙转发一下呗~
上一篇:IT职位解析:HTML5前端开发
下一篇:开发不得不知道的SQL注入