概述

网络爬虫（又被称为网页蜘蛛，网络机器人，英文一般为：spider，蜘蛛），是按照一定的规则，自动提取网页数据的程序

一句话解释

使用代码模拟浏览器，向web服务器发请求，分析出想要的数据

为什么要使用爬虫

1. 早期互联网迅速发展，信息量也迅速增大时，搜索引擎（百度、谷歌）应运而生，爬取网页数据，便于人们搜索

2. 大数据时代，很多公司根据自身业务需要，从互联网爬取数据
   如：

   1. 爬取社交平台（如微博、贴吧、知乎），做舆情分析
   2. 猎头公司，从拉勾网、智联招聘爬取简历
   3. 抓取企业执照、缴税、法人等信息，分析企业状况
   4. 品牌舆情，大公司分析旗下品牌口碑，负面评论
   5. 电商平台，分析当前热卖品类，预判下个热卖品
   6. 根据业务需要，抓取资源，下载短视频、图片、搞笑段子、高质量文章等

通用爬虫和聚焦爬虫

通用爬虫

捜索引擎用的爬虫系统（Baidu、Google、Yahoo等）。

主要目的是将互联网上的网页下载到本地，在对这些网页做相关处理(提取关键字、去掉广告)

Robots协议

爬虫协议，全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面 可以抓取，哪些页面 不能抓取

例如：
淘宝网：https://www.taobao.com/robots.txt
腾讯网： http://www.qq.com/robots.txt

聚焦爬虫

聚焦爬虫，是针对某个网站，或者某类网站、或者某类主题内容，实现的爬虫

比如：

1. 抓取二手房出售信息，分析各个城区的平均价格，户型占比等
2. 抓取招聘信息，分析某行业的平均工资，什么学历需求量最大等
3. 抓取某些电商平台的打折商品

原文出处：/show_1EF2cZ7If3Ao.html