【JAVA】爬虫最终方案发布——Spider Terminator_qlone. 爬虫 ...

Maven

<!-- https://mvnrepository.com/artifact/com.github.qlone/spider-terminator-core -->
<dependency>
    <groupId>com.github.qlone</groupId>
    <artifactId>spider-terminator-core</artifactId>
    <version>1.0</version>
</dependency>
本文旨在，为Java自动化测试添砖加瓦。
 总所周知，爬虫技术也用在自动化测试中。 
一、使用场景
 
很多情况下，我们需要对某些系统进行测试时，不仅要梳理接口的调用顺序，还要知道接口参数和页面上的数据映射关系。 
好在杰森·哈金斯（Jason Huggins）也觉得这痛苦不堪，开发了selenium。selenium可以在代码中模拟浏览器渲染出Html，并提供函数模拟用户在正常浏览器中的操作。 
Spider Terminator框架基于selenium开发。 
二、设计思路
 
原生selenium的api十分灵活，意味着我们实现功能时需要编写大量函数。稍有不慎会使得代码难以理解。 
在自动化脚本编写中，我们通常都是进行以下几个操作： 
打开页面
找到页面上的元素/组建
对元素/组建进行操作（点击、输入、信息获取） 
因此框架中将围绕着以下4个上下文进行脚本操作 
Roboot，提供浏览器打开页面切换页面等操作
WebContext，页面上下文。可以通过该上下文找到对应的元素列表
WebComponent，元素列表。获取到列表后，我们需要做一些过滤操作选出其中我们需要处理的一个元素。
WebFocusComponent，选中的元素。我们会对选中的元素进行操作 
上下文切换如图所示：
 
 图中大概意思是，上下文有层级关系。下层的创建需要由上层一层层确定得出，上层可由任意下层返回。 
三、使用示例
 
我们演示一段自动打开微信公众号草稿箱的代码 
 需要注意的是，谷歌浏览器内核版本需要和电脑中的谷歌浏览器版本一致 
如果需要登陆的话，需要将cookie保存到本地，这样就不需要每次启动登录了。 
Roboot roboot = new RobootTest(SeleniumDriver.Chrome, "/Users/heweinan/Documents/software/webdriver/chromedriver");
roboot.open("https://mp.weixin.qq.com/")
        //中断程序，需要输入Y/N进行确认
        .check("login?");
        //保存cookie到本地文件
        .storeCookie();
StringBuffer page = new StringBuffer();
//使用Chorme内核渲染、还可以选择Phantomjs。
Roboot roboot = new RobootTest(SeleniumDriver.Chrome, "/Users/heweinan/Documents/software/webdriver/chromedriver");
//打开微信公众号
roboot.open("https://mp.weixin.qq.com/")
        //加载cookie
        .installCookie()
        //刷新页面
        .refresh()
        //进入草稿箱
        //选中className是weui-desktop-menu__name并且内容是草稿箱的第一个元素，然后点击
        .className("weui-desktop-menu__name").textFilter("草稿箱").first().clickScript()
        //新的创作
        //通过css定位符合条件的第一个元素，将组建中的href内容写入page中，然后点击
        .css("div.preview_media_add_panel ul li.create_article_item a").first().attr("href", page::append).clickScript()
        //此时上下文是WebFocusComponent，切换到Roboot
        .robootContext()
        //此时因为浏览器点了超链接新开了一个页面，我们需要切换到第二个Tab中
        .switchHandler(1)
        //超链接
        //通过id定位到元素取第一个，并点击
        .id("js_editor_insertlink").first().clickScript()
        //选择其他公众号作为输入
        .className("weui-desktop-btn").first().clickScript()
        //输入公众号
        .className("weui-desktop-form__input").choose(1).send(bizName).send(Keys.ENTER)
        //选择列表第一个公众号
        .css("li.inner_link_account_item div.weui-desktop-vm_primary ").first().clickScript();
可以看到，通过Spider Terminator的API我们不仅很方便的实现了自动化逻辑的编写。并且操作步骤也清晰明了易于维护。
 
 最近弄个数据获取的小功能,对于如何从网页来获取数据也算是有了一个初步的了解,一路也是跌跌撞撞,看过的几个方案做个小总结吧
 我们浏览网页的本质其实都是获取别人的后台数据展示,当我们需要大量的数据的时候,总不能去一个个点击页面抄数据下来 吧,那么我们就可以通过代码来实现,对于绝大部分网页,页面的结构都是具有规律性的,比如淘宝网上的商品详情页这种,肯定不可能一个商品一个界面是吧,任何涉及到详情页的界面肯定都是有规律的,那么我们就可以使用代码来解析页面获取数据. (搜索引擎的爬虫就不知道了哈)