fake-useragent最新版本配置教程

  • A+
所属分类:软件开发
[隐藏]

我们在写爬虫的时候,经常因为网站的反爬虫机制导致我们的爬虫无法使用。如果一直使用同一个ua,很容易被检测出来。

这时候我们就需要使用到fake-useragent,fake-useragent是国外一个开源的随机ua插件(我这么理解的)。

官方的插件地址:https://pypi.org/project/fake-useragent/

github开源地址:https://github.com/hellysmile/fake-useragent

一、最简单的调用方式

首先我们需要安装这个插件

这样我们在请求的时候把ua设置一下就ok了,国内网速的原因,这个地方我们也可以指定一下json。

二、scrapy调用fake-useagent

如果你使用的是scrapy进行爬取内容,那么也许你更需要的是下面的这个开源插件。

scrapy-fake-useragent开源地址:https://github.com/alecxe/scrapy-fake-useragent

安装插件

这个调用起来还简单,基本上配置一下就可以用了。

然后我们只需要在项目的setting文件里面配置如下内容即可。

Scrapy >=1.0:

Scrapy <1.0:

这时候默认的已经可以了,如果你还要做一些其他的配置的话,也可以直接在setting里面进行配置。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: