执行 敬畏 感恩
Java爬虫-Appium一波(十二) Java爬虫-Appium一波(十二)
天空没有痕迹,风雨已在心中。 ——长路 准备条件 Java 环境 安卓虚拟机(7.1.1) Python环境(3.5) Appium 环境 Java 环境安卓虚拟机 本次使用的是7.1.1,刚开始使用的是9版本的, 基础的 Demo 是跑
2018-12-19
Java爬虫-隐藏的小细节(十一) Java爬虫-隐藏的小细节(十一)
世界上只有两种秘密,骗自己的和以为能骗住别人的。 ——默默 实践小细节 一、元素补全对于页面标签的定位,标签使用 很明显经过html ,自动按html 标准格式化了多了很多标签,实战中也要考虑到这个(html 的类是webmagic那个
2018-12-11
Java爬虫-隐藏的小细节(十) Java爬虫-隐藏的小细节(十)
乌云遮蔽了整个天空,闪电便已在其中酝酿。 ——飞行的河马 主要记录一些有趣的思路 赤狐为例,通常我们可以从cookie里面看到jsessionid这个参数通常用于记录session。 所以经常我们会遇到关闭浏览器或者一段时间,然后这个值
2018-12-10
Java爬虫-ChromeDriver连接池(九) Java爬虫-ChromeDriver连接池(九)
汹涌浪潮先消磨你的心智,水下暗礁在摇摆间把你的航船击沉。 ——你的名字 ChromeDriver 连接池 基本的抓取功能完善以后,接下来就是优化的过程,本节使用Apache commons-pool实现连接池。 1、Pool 设计思想
2018-12-04
Java爬虫-Selenium实战小细节(八) Java爬虫-Selenium实战小细节(八)
猎人的眼睛从来不会闭上,因为野兽正在暗中注视着他。 ——尘鸟 问题一:invalid element state: Element must be user-editable in order to clear it invalid ele
2018-11-28
Java爬虫-HeadlessChrome+Selenium+ChromeDriver无头抓取(七) Java爬虫-HeadlessChrome+Selenium+ChromeDriver无头抓取(七)
汹涌浪潮先消磨你的心智,水下暗礁在摇摆间把你的航船击沉。 ——你的名字 线下开发一切很顺利,然后细细一想,上线之后都是用Docker驱动,哪里来的Chrome界面,供我操作,故作此篇。😳 0、重要流程wget -O /etc/yum.
2018-11-26
Java爬虫-Selenium基操(六) Java爬虫-Selenium基操(六)
战士的坟墓比奴隶的天堂更明亮。 ——陈辉 Selenium 一些设置1、Selenium 初始化窗口参数System.setProperty("webdriver.chrome.driver", "xxx/chromedriver");
2018-11-22
Java爬虫-验证码(五) Java爬虫-验证码(五)
往事如深埋在肌肤下的刀锋,销魂蚀骨,一碰就痛。 ——宋神宗 验证码识别服务 对于验证码的识别,对于众多识别方式,此文适用于字符规整,长宽一致,样式标准,对于有很多验证的方式,此方式也是一种思路。废话不多说,先上代码🧐 1、核心验证码验证
2018-11-21
Java爬虫-WebMagic实操(四) Java爬虫-WebMagic实操(四)
当你闭上双眼,暴风雨便在梦中酝酿。 ——点芳华 爬取 Ajax 网页数据 使用 Ajax 使用纯原生的 PhantomJS ,在请求数据的时候,当请求一个数据的时候是没有问题的,换成两个就开始报错,莫名不好使,自己目前怀疑是启动的脚本有问题
2018-11-18
Java爬虫-前段渲染(三) Java爬虫-前段渲染(三)
风起时,我听到了命运的声音。 ——杨 1、页面抓取1.1、判断动静态页面 至此,基本简单的页面,没有问题了,此处我所说的页面指的是静态页面,那么问题来了,我自己如何判断一个页面的动静态加载。此时我们查看网页源码就可以看出来,当页面的源码
2018-11-16
Java爬虫-WebMagic(二) Java爬虫-WebMagic(二)
你如此美好,我跌入花间忘了人间。 ——天涯 1、Spider 架构 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件,并由Spider将它们彼此组织起来。 1.2
2018-11-15
Java爬虫-XPath(一) Java爬虫-XPath(一)
当你走过漫漫长路,是否还记得那一眼花开的动心? ——萌贝壳 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在XML文档中通过元素和属性进行导航。 1、XPath 基本概念1.1、XPath 概念 XPath 使用路
2018-11-14