小白学 Python 爬虫（23）：解析库 pyquery 入门

时间:2019-12-20 极客挖掘机人气:0

人生苦短，我用 Python

前文传送门：

小白学 Python 爬虫（1）：开篇

小白学 Python 爬虫（2）：前置准备（一）基本类库的安装

小白学 Python 爬虫（3）：前置准备（二）Linux基础入门

小白学 Python 爬虫（4）：前置准备（三）Docker基础入门

小白学 Python 爬虫（5）：前置准备（四）数据库基础

小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装

小白学 Python 爬虫（7）：HTTP 基础

小白学 Python 爬虫（8）：网页基础

小白学 Python 爬虫（9）：爬虫基础

小白学 Python 爬虫（10）：Session 和 Cookies

小白学 Python 爬虫（11）：urllib 基础使用（一）

小白学 Python 爬虫（12）：urllib 基础使用（二）

小白学 Python 爬虫（13）：urllib 基础使用（三）

小白学 Python 爬虫（14）：urllib 基础使用（四）

小白学 Python 爬虫（15）：urllib 基础使用（五）

小白学 Python 爬虫（16）：urllib 实战之爬取妹子图

小白学 Python 爬虫（17）：Requests 基础使用

小白学 Python 爬虫（18）：Requests 进阶操作

小白学 Python 爬虫（19）：Xpath 基操

小白学 Python 爬虫（20）：Xpath 进阶

小白学 Python 爬虫（21）：解析库 Beautiful Soup（上）

小白学 Python 爬虫（22）：解析库 Beautiful Soup（下）

引言

前面一篇我们介绍了 Beautiful Soup 中可以使用 CSS 选择器，但是好像他的 CSS 选择器并没有想像中的强大。

本篇就介绍一个对 CSS 选择器更加友好的类库 —— pyquery 。它在语法上更加贴和 JQuery ，估计会成为各位后端开发人员的福音。

首先，还是先敬上各种官方地址：

官方文档：http://pyquery.readthedocs.io/en/latest/

PyPI：http://pypi.org/project/pyquery/

Github：https://github.com/gawel/pyquery

有问题，找官方，这句话是肯定不会错滴~~

初始化

首先，各位同学需要确保已经安装过 pyquery ，没有安装过的朋友可以翻一翻前面的前置准备，小编已经介绍过安装方式。

先来看一个简单的初始化的示例（还是使用上一篇的 HTML ，懒人真的没救了）：

from pyquery import PyQuery

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
'''

d = PyQuery(html)
print(d('p'))

结果如下：

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>

以上是直接使用字符串进行的初始化，同时它还支持直接传入 URL 地址进行初始化：

d_url = PyQuery(url='https://www.geekdigging.com/', encoding='UTF-8')
print(d_url('title'))

结果如下：

<title>极客挖掘机</title>

这样写的话，其实 PyQuery 会先请求这个 URL ，然后用响应得到的 HTML 内容完成初始化，与下面这样写其实也是一样的：

r = requests.get('https://www.geekdigging.com/')
r.encoding = 'UTF-8'
d_requests = PyQuery(r.text)
print(d_requests('title'))

CSS 选择器

我们先来简单感受下 CSS 选择器的用法，真的是非常的简单方便：

d_css = PyQuery(html)
print(d_css('.story .sister'))
print(type(d_css('.story .sister')))

结果如下：

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.
<class 'pyquery.pyquery.PyQuery'>

这里的写法含义是我们先寻找 class 为 story 的节点，寻找到以后接着在它的子节点中继续寻找 class 为 sister 的节点。

最后的打印结果中可以看到，它的类型依然为 pyquery.pyquery.PyQuery ，说明我们可以继续使用这个结果解析。

查找节点

我们接着介绍一下常用的查找函数，这些查找函数最赞的地方就是它们和 JQuery 的用法完全一致。

find() ：查找节点的所有子孙节点。
children() ：只查找子节点。
parent() ：查找父节点。
parents() ：查找祖先节点。
siblings() ：查找兄弟节点。

下面来一些简单的示例：

# 查找子节点
items = d('body')
print('子节点：', items.find('p'))
print(type(items.find('p')))

# 查找父节点
items = d('#link1')
print('父节点：', items.parent())
print(type(items.parent()))

# 查找兄弟节点
items = d('#link1')
print('兄弟节点：', items.siblings())
print(type(items.siblings()))

结果如下：

子节点： <p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>

<class 'pyquery.pyquery.PyQuery'>
父节点： <p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>


<class 'pyquery.pyquery.PyQuery'>
兄弟节点： <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.
<class 'pyquery.pyquery.PyQuery'>

遍历

通过上面的示例，可以看到，如果 pyquery 取出来的有多个节点，虽然类型也是 PyQuery ，但是和 Beautiful Soup 不一样的是返回的并不是列表，如果我们需要继续获取其中的节点，就需要遍历这个结果，可以使用 items() 这个获取结果进行遍历：

a = d('a')
for item in a.items():
    print(item)

结果如下：

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.

这里我们调用 items() 后，会返回一个生成器，遍历一下，就可以逐个得到 a 节点对象了，它的类型也是 PyQuery 类型。每个 a 节点还可以调用前面所说的方法进行选择，比如继续查询子节点，寻找某个祖先节点等，非常灵活。

提取信息

前面我们获取到节点以后，接着就是要获取我们所需要的信息了。

获取信息主要分为两个部分，一个是获取节点的文本信息，一个获取节点的属性信息。

获取文本信息

a_1 = d('#link1')
print(a_1.text())

结果如下：

Elsie

如果想获取这个节点内的 HTML 信息，可以使用 html() 方法：

a_2 = d('.story')
print(a_2.html())

结果如下：

Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.

获取属性信息

当我们获取到节点以后，可以使用 attr() 来获取相关的属性信息：

attr_1 = d('#link1')
print(attr_1.attr('href'))

结果如下：

http://example.com/elsie

除了我们可以使用 attr() 这个方法以外， pyquery 还为我们提供了 attr 属性，比如上面的示例还可以写成这样：

print(attr_1.attr.href)

结果和上面的示例是一样的。

小结

我们在前置准备中安装的几种解析器到此就介绍完了，综合比较一下，Beautiful Soup 对新手比较友好，无需了解更多的其他知识就可以上手使用，但是对于复杂 DOM 的解析，依然需要一定的 CSS 选择器的基础，如果对 Xpath 比较熟练的话直接使用 lxml 倒是最为方便的，如果和小编一样，对 JQuery 和 CSS 选择器都比较熟悉，那么 pyquery 倒是一个很不错的选择。

接下来小编计划做几个简单的实战分享，敬请期待哦~~~

示例代码

本系列的所有代码小编都会放在代码管理仓库 Github 和 Gitee 上，方便大家取用。

示例代码-Github

示例代码-Gitee

加载全部内容