好得很程序员自学网

<tfoot draggable='sEl'></tfoot>

jsoup解析HTML信息_html/css_WEB-ITnose

jsoup简介

jsoup是一款Java的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,

可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

jsoup的主要功能如下

1、从一个URL,文件或字符串中解析HTML

2、使用DOM或CSS选择器来查找、取出数据

3、可操作HTML元素、属性、文本

jsoup的主要类层次结构如图所示:

文档输入

jsoup可以从包括字符串、URL地址以及本地文件来加载HTML文档,并生成Document对象实例。

// 直接从字符串中输入 HTML 文档String html = "   learn jsoup  "    + " 

Parse and traverse an HTML document.

";Document doc = Jsoup.parse(html);// 从URL直接加载 HTML 文档Document doc = Jsoup.connect("http://itmyhome.com/").get();String title = doc.title();// 从文件中加载HTML文档File input = new File("D:/index.html");Document doc = Jsoup.parse(input, "UTF-8","http://itmyhome.com");

第三种方式parse方法也可以不指定第三个参数,因为HTML文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等,

而第三个名为baseURL的参数的意思就是当HTML文档使用相对路径方式引用外部文件时,

jsoup会自动为这些URL加上一个前缀,也就是这个 baseURL。

例如 itmyhome 会被转换成 itmyhome。

数据抽取

使用DOM方法来遍历一个文档

String html = "   learn jsoup  "        + " hello"        + "jsoup  ";Document doc = Jsoup.parse(html);Element content = doc.getElementById("content");Elements links = content.getElementsByTag("a");for (Element link : links) {    String linkHref = link.attr("href");    String linkText = link.text();    System.out.println(linkHref + ", " + linkText);} 

打印

itmyhome.com, helloblog.itmyhome.com, jsoup 

说明

Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:

查找元素

getElementById(String id)

getElementsByTag(String tag)

getElementsByClass(String className)

getElementsByAttribute(String key) (and related methods)

Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()

Graph: parent(), children(), child(int index)

元素数据

attr(String key)获取属性 attr(String key, String value)设置属性

attributes()获取所有属性

id(), className() and classNames()

text()获取文本内容text(String value) 设置文本内容

html()获取元素内HTMLhtml(String value)设置元素内的HTML内容

outerHtml()获取元素外HTML内容

data()获取数据内容(例如:script和style标签)

tag() and tagName()

操作HTML和文本

append(String html), prepend(String html)

appendText(String text), prependText(String text)

appendElement(String tagName), prependElement(String tagName)

html(String value)

使用选择器语法来查找元素

Document doc = Jsoup.connect("http://itmyhome.com/").get();Elements links = doc.select("a[href]"); // 带有href属性的a元素Elements pngs = doc.select("img[src$=.png]");// 扩展名为.png的图片Element icons = doc.select("span.icon").first();// class等于icon的span标签Elements resultLinks = doc.select("#header p"); // id为header元素之后的p元素 

从以上可以看出jsoup使用跟jQuery一模一样的选择器对元素进行检索,jsoup的选择器还支持表达式功能

下表是jsoup选择器的所有语法详细列表。

表1. 基本用法:

tagname 使用标签名来定位,例如 a ns|tag 使用命名空间的标签定位,例如 fb:name 来查找 元素 #id 使用元素 id 定位,例如 #logo .class 使用元素的 class 属性定位,例如 .head [attribute] 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素 [^attr] 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性 [attr=value] 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素 [attr^=value], [attr$=value], [attr*=value] 这三个语法分别代表,属性以 value 开头、结尾以及包含 [attr~=regex] 使用正则表达式进行属性值的过滤,例如 img[src~=(?i)\.(png|jpe?g)] * 定位所有元素

以上是最基本的选择器语法,这些语法也可以组合起来使用,下面是 jsoup 支持的组合用法:

表2:组合用法:

el#id 定位 id 值某个元素,例如 a#logo -> el.class 定位 class 为指定值的元素,例如 div.head ->

xxxx

查看更多关于jsoup解析HTML信息_html/css_WEB-ITnose的详细内容...

  阅读:36次