WebMagic(java爬虫框架) v0.7.3官方版

WebMagic是一款专业的爬虫框架，采用灵活的API，用户只需少量代码即可实现一个完整的爬虫程序，支持多线路抓取、分布式专区，自动重试，自定义UA/Cookie等，兼容64位和32位系统，需要的朋友可以来本站下载！

软件特点

* 完全模块化的设计，强大的可扩展性。

* 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。

* 提供丰富的抽取页面API。

* 无配置，但是可通过POJO+注解形式实现一个爬虫。

* 支持多线程。

* 支持分布式。

* 支持爬取js动态渲染的页面。

* 无框架依赖，可以灵活的嵌入到项目中去。

WebMagic包含组件

1.Downloader

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2.PageProcessor

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。

在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

3.Scheduler

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

4.Pipeline

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

更新日志

本次更新增加了Downloader模块的一些功能。

#609 修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。

#631 HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。

#571 Page对象增加bytes属性，用于获取二进制数据。下载纯二进制页面时，请设置request.setBinarayContent(true)，这样对于二进制内容不会尝试转换为String，减小开销。

#629 在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。

#610 自动识别编码时，可以识别Content-Type中charset为大写的情况。

#627 支持为Request单独设置页面编码，兼容同一站点多种编码方式的情况。

#613 Page对象增加charset属性，其值为request/site中设置的charset，或者为自动检测的charset(未定义时)。

#606 升级jsonpath到2.4.0

#608 升级jsoup到1.10.3