精灵采集器

当前位置 :

>

正文

做采集会遇到网站内容是通过ajax动态请求、异步刷新生成的json数据的情况，并且通过python爬虫使用爬取静态网页内容的方式是不可以实现的，所以这篇文章将要讲述如果在精灵采集器爬取ajax动态生成的数据。

步骤一

添加采集规则，设置采集方式为手动采集，这里我们可以设置3种方式的手动采集，第一种手动采集列表，第二种手动采集详情页内容，第三种列表和内容都是手动采集。添加完毕后，点击应用。



步骤二

点击采集列表，出现对话框



这一步先点击"浏览页面"在浏览器中查看要抓取的页面，等到要抓取的内容出现以后，在页面按CTRL+A,CTRL+C，复制整个页面。然后回到该对话框，在文本框粘贴内容。精灵采集器将自动识别并添加列表。(提示：手动抓取的页面，精灵采集器的规则也是可以适用的)

如果内容页面也是动态生成的，也可以使用该方法进行抓取内容。