Python爬虫基础讲解（一）：爬虫的分类

通用爬虫

通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。

来源：https://www.cnblogs.com/qshhl/p/14741347.html
图文来源于网络，如有侵权请联系删除。