jsoup简介
jsoup是一款Java的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,
可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下
1、从一个URL,文件或字符串中解析HTML
2、使用DOM或CSS选择器来查找、取出数据
3、可操作HTML元素、属性、文本
jsoup的主要类层次结构如图所示:
文档输入
jsoup可以从包括字符串、URL地址以及本地文件来加载HTML文档,并生成Document对象实例。
// 直接从字符串中输入 HTML 文档String html = " learn jsoup " + "Parse and traverse an HTML document.
";Document doc = Jsoup.parse(html);// 从URL直接加载 HTML 文档Document doc = Jsoup.connect("http://itmyhome.com/").get();String title = doc.title();// 从文件中加载HTML文档File input = new File("D:/index.html");Document doc = Jsoup.parse(input, "UTF-8","http://itmyhome.com");
第三种方式parse方法也可以不指定第三个参数,因为HTML文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等,
而第三个名为baseURL的参数的意思就是当HTML文档使用相对路径方式引用外部文件时,
jsoup会自动为这些URL加上一个前缀,也就是这个 baseURL。
例如 itmyhome 会被转换成 itmyhome。
数据抽取
使用DOM方法来遍历一个文档
String html = " learn jsoup " + " hello" + "jsoup ";Document doc = Jsoup.parse(html);Element content = doc.getElementById("content");Elements links = content.getElementsByTag("a");for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text(); System.out.println(linkHref + ", " + linkText);}
打印
itmyhome.com, helloblog.itmyhome.com, jsoup
说明
Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)
元素数据
attr(String key)获取属性 attr(String key, String value)设置属性
attributes()获取所有属性
id(), className() and classNames()
text()获取文本内容text(String value) 设置文本内容
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
outerHtml()获取元素外HTML内容
data()获取数据内容(例如:script和style标签)
tag() and tagName()
操作HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)
使用选择器语法来查找元素
Document doc = Jsoup.connect("http://itmyhome.com/").get();Elements links = doc.select("a[href]"); // 带有href属性的a元素Elements pngs = doc.select("img[src$=.png]");// 扩展名为.png的图片Element icons = doc.select("span.icon").first();// class等于icon的span标签Elements resultLinks = doc.select("#header p"); // id为header元素之后的p元素
从以上可以看出jsoup使用跟jQuery一模一样的选择器对元素进行检索,jsoup的选择器还支持表达式功能
下表是jsoup选择器的所有语法详细列表。
表1. 基本用法:
tagname 使用标签名来定位,例如 a ns|tag 使用命名空间的标签定位,例如 fb:name 来查找 元素 #id 使用元素 id 定位,例如 #logo .class 使用元素的 class 属性定位,例如 .head [attribute] 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素 [^attr] 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性 [attr=value] 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素 [attr^=value], [attr$=value], [attr*=value] 这三个语法分别代表,属性以 value 开头、结尾以及包含 [attr~=regex] 使用正则表达式进行属性值的过滤,例如 img[src~=(?i)\.(png|jpe?g)] * 定位所有元素以上是最基本的选择器语法,这些语法也可以组合起来使用,下面是 jsoup 支持的组合用法:
表2:组合用法:
el#id 定位 id 值某个元素,例如 a#logo -> el.class 定位 class 为指定值的元素,例如 div.head ->xxxx
查看更多关于jsoup解析HTML信息_html/css_WEB-ITnose的详细内容...