python使用自定义user-agent抓取网页 python使用自定义user-agent抓取网页的方法
令狐不聪 人气:0想了解python使用自定义user-agent抓取网页的方法的相关内容吗,令狐不聪在本文为您仔细讲解python使用自定义user-agent抓取网页的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,自定义user-agent,抓取网页,下面大家一起来学习吧。
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:
下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器
import urllib2 req = urllib2.Request('http://192.168.1.2/') req.add_header('User-agent', 'Mozilla 5.10') res = urllib2.urlopen(req) html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
加载全部内容