学会爬虫是不是可以爬取任何资源
python做爬虫合适吗？
python做爬虫合适吗？
Python做爬虫挺合适的，大名鼎鼎的Scrapy框架，不是一般的好用，简单的几行代码，网页的内容就爬取下来了。下面举几个例子在工作中应用到的。
搜房网，搜房网的数据还是有很大用途的，小区的位置及相关信息都是用户画像需要使用到的
先上传一个爬取下来的结果，我们根据需要爬取页面中的相关内容，比如小区的地址、建筑年代、小区面积等一些比较重要的内容。爬取这些内容其实挺简单的，就写几个页面处理的函数就可以了，部分代码示例如下：
Scrapy给我们提供了很大的便捷，只需要用户重点对页面进行分析，分析自己需要的内容然后采取相应的逻辑处理就可以了。基于爬取后的内容，就可以知道小区附近的相关用户所处的商业环境，对营销和运营都有不小的作用。
Scrapy的爬取过程，4个步骤你就可以实现利用Python做出一个完美的爬虫，省去你不必要的自己写爬取逻辑的过程定义一个Scrapy项目：scrapy startproject [scrapyname]
定义爬取的item，通俗地理解就是数据库中的表字段；
编写爬取网站的spider，并提取item，这一部分需要我们对页面的理解，主要是页面的Html结构，通过浏览器中的相关工具，比如火狐浏览器中的firebug，查看相应的div层级关系，找到相应的内容；
编写pipeline，用于存储item数据，存储到mysql、mongodb等一数据库中。
Python做爬虫挺好用的，方便容易上手，一般不复杂的网站都可以通过Scrapy爬取到想要的内容，复杂点的可通过添加cookie或者header等相关技术，实现模拟爬取。
爬虫软件能查什么资料？
总的来说就是各行各业，各种网站的数据都可以通过爬虫给爬取出来，但具体怎么去爬取就需要用户自己去操作了，懂代码的用户可以自己写爬虫脚本，爬虫代码，不懂的也可以借助爬虫工具来实现。