Jsoup的学习一篇就够

字数统计: 3.9k字   |   阅读时长: 16分
爬虫 阅读量

摘要

Jsoup是一款比较好的Java版HTML解析器。可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

  • 由于工作原因，需要学习对页面的数据进行爬取，以下内容仅供学习demo，非商业用途。
    • 学习途中查询了一些资料，也发现很多工具也可以实现，有兴趣可以前往了解
    • 然后我发现jsoup可以对响应的html数据解析,于是对jsoup进行学习

Jsoup主要功能

  1. 从一个URL，文件或字符串中解析HTML；
  2. 使用DOM或CSS选择器来查找、取出数据；
  3. 可操作HTML元素、属性、文本；

环境搭建

  • maven依赖
    1
    2
    3
    4
    5
    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
    </dependency>

数据载入

jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document对象实例。

  • Document对象（一个文档的对象模型）：文档由多个Elements和TextNodes组成 (以及其它辅助nodes：详细可查看：nodes package tree).

    其继承结构如下：Document继承Element继承Node. TextNode继承 Node.

  • 一个Element包含一个子节点集合，并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表。

从字符串中输入HTML文档

使用静态方法

说明

  1. 其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果，无论HTML的格式是否完整。
    • 比如没有关闭标签、隐性标签（<td></td>会生成<table><tr></></>）、创建可靠的文档结构（html标签包含head 和 body，在head只出现恰当的元素）

  2. 只要解析的不是空字符串，就能返回一个结构合理的文档，其中包含(至少) 一个head和一个body元素。

  3. 一旦拥有了一个Document，你就可以使用Document中适当的方法或它父类 Element 和 Node 中的方法来取得相关数据

  4. parseBodyFragment 方法创建一个空壳的文档，并插入解析过的HTML到body元素中。

从URL直接加载HTML文档

从一个网站获取和解析一个HTML文档，并查找其中的相关数据，可以使用 Jsoup.connect(String url)方法。

1
2
3
4
5
6
7
8
9
Document doc =Jsoup.connect("网址/").get();
String title = doc.title();

Document doc =Jsoup.connect("网址/")
    .data("query", "Java") //请求参数
    .userAgent("I’mjsoup") //设置User-Agent
    .cookie("auth", "token") //设置cookie
    .timeout(3000) //设置连接超时时间
    .post(); //使用POST方法访问URL

从文件中加载HTML文档

在本机硬盘上有一个HTML文件，需要对它进行解析从中抽取数据或进行修改。可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法。

1
2
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

保证安全Stay safe

  • 消除不受信任的HTML (防止XSS攻击)

在做网站的时候，经常会提供用户评论的功能。有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本cross-site scripting攻击（XSS）。
使用jsoup HTML Cleaner 方法进行清除，但需要指定一个可配置的 Whitelist。

1
2
3
4
5
6
@Test
public void test(){
    String unsafe = "<p><a href='http://example.com/' onclick='stealCookies()'>Link</a></p>";
    String safe = Jsoup.clean(unsafe, Whitelist.basic());
    // now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>
}

说明

  • XSS又叫CSS (Cross Site Script) ，跨站脚本攻击。 它指的是恶意攻击者往Web页面里插入恶意html代码，当用户浏览该页之时，嵌入其中Web里面的html代码会被执行，从而达到恶意攻击用户的特殊目的。XSS属于被动式的攻击，因为其被动且不好利用，所以许多人常忽略其危害性。所以我们经常只让用户输入纯文本的内容，但这样用户体验就比较差了。

  • 一个更好的解决方法就是使用一个富文本编辑器 WYSIWYG 如 CKEditor 和 TinyMCE 。这些可以输出HTML并能够让用户可视化编辑。虽然他们可以在客户端进行校验，但是这样还不够安全，需要在服务器端进行校验并清除有害的HTML代码，这样才能确保输入到你网站的HTML是安全的。 否则，攻击者能够绕过客户端的Javascript验证，并注入不安全的HMTL直接进入您的网站。

  • jsoup的whitelist清理器能够在服务器端对用户输入的HTML进行过滤，只输出一些安全的标签和属性。

  • jsoup提供了一系列的Whitelist基本配置，能够满足大多数要求；但如有必要，也可以进行修改，不过要小心。

  • 这个cleaner非常好用不仅可以避免XSS攻击，还可以限制用户可以输入的标签范围。

whitelist常用方法

API查看：Whitelist

方法名 简介
none() 只允许包含文本信息
basic() 允许的标签包括：a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性
simpleText() 只允许 b, em, i, strong, u 这些标签
basicWithImages() 在 basic() 的基础上增加了图片
relaxed() 这个过滤器允许的标签最多，包括：a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul

  • 如果这五个过滤器都无法满足你的要求呢

    • 例如你允许用户插入 flash 动画，没关系，Whitelist 提供扩展功能

    • 例如 whitelist.addTags(“embed”,”object”,”param”,”span”,”div”); 也可调用 addAttributes 为某些元素增加属性。

数据抽取

使用DOM方法来获取

将HTML解析成一个Document之后，就可以使用类似于DOM的方法进行操作。

1
2
3
4
5
6
7
8
9
10
11
@Test
public void test1(){
    File input = new File("/tmp/input.html");
    Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
    Element content = doc.getElementById("content");
    Elements selects = content.getElementsByTag("a");
    for (Element select : selects) {
        String url = select.attr("href");
        String text = select.text();
    }
}
  • 查找元素
方法 数据
getElementById(String id) id
getElementsByTag(String tag) 标签名
getElementsByClass(String className) class名
getElementsByAttribute(String key) 属性
siblingElements() 所有的兄弟元素
firstElementSibling() 第一个兄弟元素
lastElementSibling() 最后一个兄弟元素
nextElementSibling() 下一个兄弟元素
previousElementSibling() 上一个兄弟元素
parent() 获取该元素父节点
children() 获取该元素的子元素
child(int index) 获取该元素的第几个子元素（下标从0开始
  • 元素数据
方法 数据
attr(String key) 获取属性
attr(String key, String value) 设置属性
attributes() 获取所有属性
id() 获取该元素id
className() 获取该元素class，多个class之间空格隔开
classNames() 获取所有元素的class
text() 获取文本内容
text(String value) 设置文本内容
html() 获取元素内HTML
html(String value) 设置元素内的HTML内容
outerHtml() 获取元素外HTML内容
data() 获取数据内容（例如：script和style标签)
tag()
tagName() 获取元素标签名
  • 操作HTML和文本
方法 数据
append(String html) 添加给定的html到元素末尾
prepend(String html) 添加给定html到元素前面
appendText(String text) 创建并添加文本
prependText(String text) 创建并添加文本
appendElement(String tagName) 添加到元素末尾
prependElement(String tagName) 添加到元素前
html(String value) 设置元素值

使用选择器语法来查找元素(select)

使用 Element.select(String selector) 和 Elements.select(String selector)，使用类似于CSS或jQuery的语法来查找和操作元素。

1
2
3
4
5
6
7
8
9
@Test
public void test2(){
    File input = new File("/tmp/input.html");
    Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
    Elements links = doc.select("a[href]"); //带有href属性的a元素
    Elements pngs = doc.select("img[src$=.png]"); //扩展名为.png的图片
    Element masthead = doc.select("div.masthead").first();//class等于masthead的div标签
    Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素
}

  • jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。

  • Selector选择器 基本用法

方法 数据
tagname 使用标签名来定位，例如 a
ns或者tag 使用命名空间的标签定位，例如 fb:name 来查找 <fb:name> 元素
#id 使用元素 id 定位，例如 #logo
.class 使用元素的 class 属性定位，例如 .head
[attribute] 使用元素的属性进行定位，例如 [href] 表示检索具有 href 属性的所有元素
[^attr] 使用元素的属性名前缀进行定位，例如 [^data-] 用来查找 HTML5 的 dataset 属性
[attr=value] 使用属性值进行定位，例如 [width=500] 定位所有 width 属性值为 500 的元素
[attr^=value], [attr$=value], [attr*=value] 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
[attr~=regex] 利用属性值匹配正则表达式来查找元素，例如 img[src~=(?i).(png/jpeg)] (是竖杠来的)
* 定位所有元素
  • Selector选择器 组合使用
方法 数据
el#id 定位 id 值某个元素，例如 a#logo ->
el.class 定位 class 为指定值的元素，例如 div.head ->
xxxx
el[attr] 定位所有定义了某属性的元素，例如 a[href]
以上三个任意组合 例如 a[href]#logo 、a[name].outerlink
ancestor child 查找某个元素下子元素，比如：可以用.body p 查找在”body”元素下的所有 p元素
parent > child    查找某个父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body标签下所有直接子元素
siblingA + siblingB    查找在A元素之前第一个同级元素B，比如：div.head + div
siblingA ~ siblingX   查找A元素之前的同级X元素，比如：h1 ~ p
el, el, el 多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo
  • 伪选择器selectors (表达式)
方法 数据
:lt(n) 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如：td:lt(3) 表示小于三列的元素
:gt(n) 查找哪些元素的同级索引值大于n，比如： div p:gt(2)表示哪些div中有包含2个以上的p元素
:eq(n) 查找哪些元素的同级索引值与n相等，比如：form input:eq(1)表示包含一个input标签的Form元素
:has(seletor) 查找匹配选择器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
:not(selector) 查找与选择器不匹配的元素，比如： div:not(.logo) 表示不包含 class=”logo” 元素的所有 div 列表
:contains(text) 查找包含给定文本的元素，不区分大不写，比如： p:contains(jsoup)
:containsOwn(text) 查找文本信息完全等于指定条件的元素
:matches(regex) 使用正则表达式进行文本过滤：div:matches((?i)login)
:matchesOwn(regex) 使用正则表达式找到自身的文本
  • 注意：上述伪选择器索引是从0开始的，也就是说第一个元素索引值为0，第二个元素index为1等

从元素抽取属性，文本和HTML

  • Node.attr(String key) 获取属性值
  • Element.text() 获取元素中的文本值
  • Element.html() 获取元素HTML内容
  • Node.outerHtml() 获取元素HTML内容
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    @Test
    public void test3(){
        String html = "<p>An <a href='http://www.baidu.com/'><b>baidu</b></a> link.</p>";
        Document doc = Jsoup.parse(html);//解析HTML字符串返回一个Document实现
        Element link = doc.select("a").first();//查找第一个a元素
        String text = doc.body().text(); // "An baidu link"//取得字符串中的文本
        String linkHref = link.attr("href"); // "http://www.baidu.com/"//取得链接地址
        String linkText = link.text(); // "baidu""//取得链接地址中的文本
        String linkOuterH = link.outerHtml();
        // "<a href="http://www.baidu.com"><b>baidu</b></a>"
        String linkInnerH = link.html(); // "<b>baidu</b>"//取得链接内的html内容
    }

处理URLs

有一个包含相对URLs路径的HTML文档，需要将这些相对路径转换成绝对路径的URLs。

  • 在解析文档时确保有指定baseURI，
  • 然后使用 abs: 属性前缀来取得包含baseURI的绝对路径
1
2
3
4
5
6
7
8
@Test
public void test5(){
    Document doc = Jsoup.connect("http://www.baidu.com").get();
    Element link = doc.select("a").first();
    String relHref = link.attr("href"); // url是 "/"
    String absHref = link.attr("abs:href"); // 转换成绝对路径:"http://www.baidu.com/"
    String absHref = link.absUrl("href"); // 转换成绝对路径:"http://www.baidu.com/"
}

数据修改

设置属性的值

在解析一个Document之后可能想修改其中的某些属性值，然后再保存到磁盘或都输出到前台页面。

  • 可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).

    假如你需要修改一个元素的 class 属性，可以使用 Element.addClass(String className) 和Element.removeClass(String className) 方法。

  • Elements 提供了批量操作元素属性和class的方法，比如：要为div中的每一个a元素都添加一个rel=”nofollow” 可以使用如下方法：

    1
    doc.select("div.comments a").attr("rel", "nofollow");

  • 说明：与Element 中的其它方法一样，attr 方法也是返回当前
    Element (或在使用选择器是返回 Elements 集合)。这样能够很方便使用方法连用的书写方式。比如：

    1
    doc.select("div.masthead").attr("title", "jsoup").addClass("round-box");

设置一个元素的HTML内容

1
2
3
4
5
6
7
8
9
10
11
@Test
public void test6(){
    Element div = doc.select("div").first(); // <div></div>
    div.html("<p>lorem ipsum</p>"); // <div><p>lorem ipsum</p></div>
    div.prepend("<p>First</p>");//在div前添加html内容
    div.append("<p>Last</p>");//在div之后添加html内容
    // 添完后的结果: <div><p>First</p><p>lorem ipsum</p><p>Last</p></div>
    Element span = doc.select("span").first(); // <span>One</span>
    span.wrap("<li><a href='http://example.com/'></a></li>");
    // 添完后的结果: <li><a href="http://example.com"><span>One</span></a></li>
}
  • Element.html(String html) 这个方法将先清除元素中的HTML内容，然后用传入的HTML代替。
  • Element.prepend(String first) 和 Element.append(String last) 方法用于在分别在元素内部HTML的前面和后面添加HTML内容

  • Element.wrap(String around) 对元素包裹一个外部HTML内容。

    设置元素的文本内容

    1
    2
    3
    4
    5
    6
    7
    8
    @Test
    public void test7(){
        Element div = doc.select("div").first(); // <div></div>
        div.text("five > four"); // <div>five &gt; four</div>
        div.prepend("First ");
        div.append(" Last");
        // now: <div>First five &gt; four Last</div>
    }

  • Element.text(String text) 将清除一个元素中的内部HTML内容，然后提供的文本进行代替

  • Element.prepend(String first) 和 Element.append(String last) 将分别在元素的内部html前后添加文本节点。

案例

案例可以前往浏览第二篇 Jsoup的学习(二)–案例

参考

Copyright © 2018 - 2020 Kuanger All Rights Reserved.

访客数 : | 访问量 :