Beautiful Soup - 修改树
BeautifulSoup 的一个重要方面是搜索解析树,它允许您根据需要对 Web 文档进行更改。 我们可以使用标签的属性来更改标签的属性,例如 .name、.string 或 .append() 方法。 它允许您在 .new_string() 和 .new_tag() 方法的帮助下向现有标签添加新标签和字符串。 还有其他方法,例如 .insert()、.insert_before() 或 .insert_after() 可以对您的 HTML 或 XML 文档进行各种修改。
更改标签名称和属性
创建 soup 后,很容易进行修改,如重命名标签、修改其属性、添加新属性和删除属性。
>>> soup = BeautifulSoup('<b class="bolder">Very Bold</b>') >>> tag = soup.b
修改和增加新属性如下 −
>>> tag.name = 'Blockquote' >>> tag['class'] = 'Bolder' >>> tag['id'] = 1.1 >>> tag <Blockquote class="Bolder" id="1.1">Very Bold</Blockquote>
删除属性如下 −
>>> del tag['class'] >>> tag <Blockquote id="1.1">Very Bold</Blockquote> >>> del tag['id'] >>> tag <Blockquote>Very Bold</Blockquote>
修改.string
您可以轻松修改标签的 .string 属性 −
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">Must for every <i>Learner>/i<</a>' >>> Bsoup = BeautifulSoup(markup) >>> tag = Bsoup.a >>> tag.string = "My Favourite spot." >>> tag <a href="https://www.tutorialspoint.com/index.html">My Favourite spot.</a>
从上面,我们可以看到标签是否包含任何其他标签,它们及其所有内容将被新数据替换。
append()
向现有标签添加新数据/内容是通过使用 tag.append() 方法。 它与 Python 列表中的 append() 方法非常相似。
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">Must for every <i>Learner</i></a>' >>> Bsoup = BeautifulSoup(markup) >>> Bsoup.a.append(" Really Liked it") >>> Bsoup <html><body><a href="https://www.tutorialspoint.com/index.html">Must for every <i>Learner</i> Really Liked it</a></body></html> >>> Bsoup.a.contents ['Must for every ', <i>Learner</i>, ' Really Liked it']
NavigableString() 和 .new_tag()
如果您想将字符串添加到文档中,可以使用 append() 或 NavigableString() 构造函数轻松完成 −
>>> soup = BeautifulSoup("<b></b>") >>> tag = soup.b >>> tag.append("Start") >>> >>> new_string = NavigableString(" Your") >>> tag.append(new_string) >>> tag <b>Start Your</b> >>> tag.contents ['Start', ' Your']
注意:如果在访问NavigableString()函数时发现有name Error,如下 −
NameError:未定义名称"NavigableString"
只需从 bs4 包中导入 NavigableString 目录 −
>>> from bs4 import NavigableString
我们可以解决上面的错误。
您可以向现有标签添加注释,也可以添加 NavigableString 的其他子类,只需调用构造函数即可。
>>> from bs4 import Comment >>> adding_comment = Comment("Always Learn something Good!") >>> tag.append(adding_comment) >>> tag <b>Start Your<!--Always Learn something Good!--></b> >>> tag.contents ['Start', ' Your', 'Always Learn something Good!']
可以使用 Beautifulsoup 内置方法 BeautifulSoup.new_tag() 添加一个全新的标签(而不是附加到现有标签) −
>>> soup = BeautifulSoup("<b></b>") >>> Otag = soup.b >>> >>> Newtag = soup.new_tag("a", href="https://www.tutorialspoint.com") >>> Otag.append(Newtag) >>> Otag <b><a href="https://www.tutorialspoint.com"></a></b>
只需要第一个参数,即标签名称。
insert()
类似于 python 列表中的 .insert() 方法,tag.insert() 将插入新元素,但与 tag.append() 不同,新元素不一定位于其父元素内容的末尾。 可以在任何位置添加新元素。
>>> markup = '<a href="https://www.djangoproject.com/community/">Django Official website <i>Huge Community base</i></a>' >>> soup = BeautifulSoup(markup) >>> tag = soup.a >>> >>> tag.insert(1, "Love this framework ") >>> tag <a href="https://www.djangoproject.com/community/">Django Official website Love this framework <i>Huge Community base</i></a> >>> tag.contents ['Django Official website ', 'Love this framework ', <i>Huge Community base</i >] >>>
insert_before() 和 insert_after()
要在解析树中的某些内容之前插入一些标记或字符串,我们使用 insert_before() −
>>> soup = BeautifulSoup("Brave") >>> tag = soup.new_tag("i") >>> tag.string = "Be" >>> >>> soup.b.string.insert_before(tag) >>> soup.b <b><i>Be</i>Brave</b>
类似地,要在解析树中的某个内容之后插入一些标签或字符串,请使用 insert_after()。
>>> soup.b.i.insert_after(soup.new_string(" Always ")) >>> soup.b <b><i>Be</i> Always Brave</b> >>> soup.b.contents [<i>Be</i>, ' Always ', 'Brave']
clear()
要删除标签的内容,请使用 tag.clear() −
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">For <i>technical & Non-technical&lr;/i> Contents</a>' >>> soup = BeautifulSoup(markup) >>> tag = soup.a >>> tag <a href="https://www.tutorialspoint.com/index.html">For <i>technical & Non-technical</i> Contents</a> >>> >>> tag.clear() >>> tag <a href="https://www.tutorialspoint.com/index.html"></a>
extract()
要从树中删除标签或字符串,请使用 PageElement.extract()。
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">For <i&gr;technical & Non-technical</i> Contents</a>' >>> soup = BeautifulSoup(markup) >>> a_tag = soup.a >>> >>> i_tag = soup.i.extract() >>> >>> a_tag <a href="https://www.tutorialspoint.com/index.html">For Contents</a> >>> >>> i_tag <i>technical & Non-technical</i> >>> >>> print(i_tag.parent) None
decompose()
tag.decompose() 从树中移除一个标签并删除其所有内容。
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">For <i>technical & Non-technical</i> Contents</a>' >>> soup = BeautifulSoup(markup) >>> a_tag = soup.a >>> a_tag <a href="https://www.tutorialspoint.com/index.html">For <i>technical & Non-technical</i> Contents</a> >>> >>> soup.i.decompose() >>> a_tag <a href="https://www.tutorialspoint.com/index.html">For Contents</a> >>>
Replace_with()
顾名思义,pageElement.replace_with() 函数会用树中的新标签或字符串替换旧标签或字符串 −
>>> markup = '<a href="https://www.tutorialspoint.com/index.html">Complete Python <i>Material</i></a>' >>> soup = BeautifulSoup(markup) >>> a_tag = soup.a >>> >>> new_tag = soup.new_tag("Official_site") >>> new_tag.string = "https://www.python.org/" >>> a_tag.i.replace_with(new_tag) <i>Material</i> >>> >>> a_tag <a href="https://www.tutorialspoint.com/index.html">Complete Python <Official_site>https://www.python.org/</Official_site></a>
在上面的输出中,您已经注意到 replace_with() 返回被替换的标签或字符串(如我们的例子中的"Material"),因此您可以检查它或将它添加回树的另一部分。
wrap()
pageElement.wrap() 在您指定的标签中包含一个元素并返回一个新的包装器 −
>>> soup = BeautifulSoup("<p>tutorialspoint.com</p>") >>> soup.p.string.wrap(soup.new_tag("b")) <b>tutorialspoint.com</b> >>> >>> soup.p.wrap(soup.new_tag("Div")) <Div><p><b>tutorialspoint.com</b></p></Div>
unwrap()
tag.unwrap() 与 wrap() 正好相反,它用标签内的任何内容替换标签。
>>> soup = BeautifulSoup('<a href="https://www.tutorialspoint.com/">I liked <i>tutorialspoint</i></a>') >>> a_tag = soup.a >>> >>> a_tag.i.unwrap() <i></i> >>> a_tag <a href="https://www.tutorialspoint.com/">I liked tutorialspoint</a>
从上面,您已经注意到像 replace_with() 一样,unwrap() 返回被替换的标签。
下面是 unwrap() 的另一个例子,以便更好地理解它 −
>>> soup = BeautifulSoup("<p>I <strong>AM</strong> a <i>text</i>.</p>") >>> soup.i.unwrap() <i></i> >>> soup <html><body><p>I <strong>AM</strong> a text.</p></body></html>
unwrap() 非常适合剥离标签。