大概说的是用Python和Pyspider(这货好像是我的一位师兄写的,吓尿),抓取淘宝淘女郎的所有美女照片。只是里面还要敲一堆代码,还要用其他动态js运行框架,看着好不烦人啊。
最近沙漠君很开心啊,开发的Hawk在GitHub上上百个star,还有歪果仁来帮忙做英文国际化,哈哈哈。
那既然如此,我也用Hawk练练手,基本无需编程,直接无视动态js调用,下载高清图片。造福各位园友。
这简直就是用Hawk做坏事,顺便炫技啊~~
说好的保存图片呢?别急别急,这只是在模拟运行模式,保存图片这种有副作用的任务是不会执行的。
Enjoy!
Hawk本身是开源的,本质上是个编译和解释器。生成的xml就是代码和控制逻辑。很多个模块构成处理链条,你可以控制链条上的模块数量,就能观察数据是如何被采集和处理的。整个程序包含两个流程:
会有下面的信息显示出来,绿色代表该模块输入的列,蓝色代表输出的列。在调试模块属性中显示的是当前模块的基本信息和配置。
你也可以单步调试,看看这个模块是怎么获得的。基本流程如下:
值得一提的是,模块上都有标签属性,你可以给某一组的模块打上固定的标签,在外部的python代码中通过标签搜索这些模块,进行批量处理。具体可以参考刚才的那个py文件。
THE END