亲宝软件园·资讯

展开

Python使用scrapy采集数据时为每个请求随机分配user-agent Python使用scrapy采集数据时为每个请求随机分配user-agent的方法

pythoner 人气:0
想了解Python使用scrapy采集数据时为每个请求随机分配user-agent的方法的相关内容吗,pythoner在本文为您仔细讲解Python使用scrapy采集数据时为每个请求随机分配user-agent的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Python,scrapy,采集数据,随机分配,user-agent,下面大家一起来学习吧。

本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下:

通过这个方法可以每次请求更换不同的user-agent,防止网站根据user-agent屏蔽scrapy的蜘蛛

首先将下面的代码添加到settings.py文件,替换默认的user-agent处理模块

复制代码 代码如下:
DOWNLOADER_MIDDLEWARES = {
    'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
      'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}

自定义useragent处理模块
复制代码 代码如下:
from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
    def process_request(self, request, spider):
        ua  = random.choice(USER_AGENT_LIST)
        if ua:
            request.headers.setdefault('User-Agent', ua)
        #log.msg('>>>> UA %s'%request.headers)

希望本文所述对大家的Python程序设计有所帮助。

加载全部内容

相关教程
猜你喜欢
用户评论