Python抓取网页图片难点分析
SF引流 人气:0一、网页图片抓取时代背景
随着网络技术的发展和互联网的普及，由于网上用户数量越来越庞大，网站同时并发的压力比较大，尤其是大型网站，因此现在网页图片都采取懒加载(Lazy Load)的方式；还出现了好多为了采集资源而出现的网络爬虫(Net spider)，为了反制图片爬虫，研发人员都不会把网页的图片地址放到<image>标签的src属性中去，而放到其他属性中去通过脚本来异步加载，或者页面中根本没有图片地址，通过专门的异步请求来单独获取和处理，还有就是针对频繁下载IP进行封号。
二、网页图片抓取难点处理
1、图片地址存放位置不同
采用以下网页图片抓取代码，把存放到不同位置的图片地址都抓取出来，：
# 获取图片的真实地址
if img_node_type==0:
fileUrl=''
# 优先src之外的其他属性，这些属性一般存放真实地址，发爬都是这样设计的
for attrkey in img.attrs:
if attrkey=='src':
continue
tempurl = str(img.attrs[attrkey])
tempurl=get_imageurl_in_str(tempurl)
if tempurl=="": #当前属性值不含图片url则继续搜索其他属性值
continue
if tempurl[:4]=="http":
fileUrl = tempurl
elif tempurl[:2]=="//":
fileUrl = "http:"+tempurl
elif tempurl[:1] == "/": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl
elif tempurl[:2] == "./": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl[1:]
elif tempurl[:3] == "../": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl[2:]
if fileUrl!='':
break
# 如果在其他属性未能找到图片的真实地址，则再在src属性寻找
if fileUrl=='': #图片地址为空则不下载
for attrkey in img.attrs:
if attrkey=='src':
tempurl = str(img.attrs[attrkey])
tempurl=get_imageurl_in_str(tempurl)
if tempurl=="": #当前属性值不含图片url则继续搜索其他属性值
continue
if tempurl[:4]=="http":
fileUrl = tempurl
elif tempurl[:2]=="//":
fileUrl = "http:"+tempurl
elif tempurl[:1] == "/": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl
elif tempurl[:2] == "./": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl[1:]
elif tempurl[:3] == "../": # 当前页面地址作为路径
fileUrl = get_root_by_pageurl(pageUrl) + tempurl[2:]
if fileUrl!='':
break2、图片地址格式解析处理
采用以下网页图片抓取代码，可以从纷繁复杂的文本中把正确的图片地址提取处理来：
# 按照正则方式进行匹配查找类似'http://*.jpg,https://*.jpg'
list2_jpg = re.findall(r"http(.+?)\.jpg", pageUrl)
list2_png = re.findall(r"http(.+?)\.png", pageUrl)
list2 = []
for m in range(len(list2_jpg)):
while len(re.findall(r"http(.+?)\.jpg", list2_jpg[m] + ".jpg")) > 0:
list2_jpg[m] = re.findall(r"http(.+?)\.jpg", list2_jpg[m] + ".jpg")[0]
list2_jpg[m] = list2_jpg[m].replace("\\", "") # 去掉转义反斜杠
list2_jpg[m] = unquote(unquote(list2_jpg[m])) # 去掉Hex字符，类似%3A%2F%2F 应为://
list2.append("http" + list2_jpg[m] + ".jpg")
for m in range(len(list2_png)):
while len(re.findall(r"http(.+?)\.png", list2_png[m] + ".png")) > 0:
list2_png[m] = re.findall(r"http(.+?)\.png", list2_png[m] + ".png")[0]
list2_png[m] = list2_png[m].replace("\\", "") # 去掉转义反斜杠
list2_png[m] = unquote(unquote(list2_png[m])) # 去掉Hex字符，类似%3A%2F%2F 应为://
list2.append("http" + list2_png[m] + ".png")3、防止IP被封可以采用代理Ip机制
采用以下网页图片抓取代码，可以防止本机IP被封：
try:
# response=requests.request('GET', pageUrl, headers=headers, proxies=ProxyPool.get_Proxy_Str(poolName), verify=False)
response=requests.request('GET', pageUrl, headers=headers, timeout=5) #, proxies=ProxyPool.get_Proxy_Str(poolName), verify=False)
except Exception as e:
my_logger_debug(logger,"local request page fail,page url:[%s] " % (pageUrl))
try: # 反爬虫：先使用本机，不行再使用代理IP
proxy_ip_mode = int(proxyiper.getValueByKey('mode'))
if proxy_ip_mode == 0: # 调用代理Ip API 不同用户配置不同，按使用代理IP数量收费
response=requests.request('GET', pageUrl, headers=headers, timeout=5, proxies=ProxyPool.get_Proxy_Str(poolName), verify=False)
elif proxy_ip_mode == 1: # 使用ADSL服务器动态切换IP，按照租赁ADSL服务器收费
switchIp(logger)
response = requests.request('GET', pageUrl, headers=headers,
timeout=5) # , proxies=ProxyPool.get_Proxy_Str(poolName), verify=False)
except Exception as e:
my_logger_debug(logger, e)
my_logger_debug(logger,"proxy request page fail,page url:[%s]" % (pageUrl))
return三、网页图片抓取场景分类
基本现在的网页图片抓取场景可以分为2种：
场景1：原来从各大搜索引擎（例如百度、360、搜狐等）和知名图片网站（昵图网、汇图网等），输入图片关键词进行搜索，然后一页一页翻看图片搜索结果，现在想在下载工具上输入图片关键字，一键把图片搜索结果下载到本地。
场景2：从指定的网站首页或网站内页（包括单个页面或多个页面）上一键下载图片到本地计算机上，如果要把某个网站所有页面上的图片都下载下来，可以先使用类似SiteMap X这种网站地图扫描工具，然后再把地址文件导入图片抓取工具来下载。Demo示例截图如下：、
有相关经验或碰到类似问题的同学，可以后台评论区留言大家一起交流讨论。
加载全部内容