这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 综合技术 » 基础知识 » 扣丁学堂Python培训简述Python3使用正则表达式爬取内涵段子

共2条 1/1 1 跳转至

扣丁学堂Python培训简述Python3使用正则表达式爬取内涵段子

菜鸟
2021-03-12 13:52:03     打赏

本篇文章扣丁学堂Python培训小编给大家分享Python3使用正则表达式爬取内涵段子,对Python感兴趣的小伙伴们就随着小编一起来看一下吧,本文涉及Python正则匹配与文件读写相关操作技巧,需要的朋友可以参考下希望对小伙伴有所帮助。

扣丁学堂Python培训简述Python3使用正则表达式爬取内涵段子

先将内涵段子网页爬取下来,之后利用正则进行匹配,匹配完成后将匹配的段子写入文本文档内。代码如下:


# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正则表达式爬取内涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '内涵段子.txt'
for page in range(2):
# 2表示页数,可以自行调整
  fullurl = url.format(str(page+1))
  request = urllib2.Request(url=fullurl, headers=headers)
  response = urllib2.urlopen(request)
  html = response.read().decode('gbk')
  # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串,如果没有则下一行重新匹配
  # 如果加上re.S 则是将所有的字符串作为一个整体进行匹配
  pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
  duanzis = pattern.findall(html)
  for duanzi in duanzis:
    duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('“','').replace('&rdquo','').replace('…','')
    try:
      # 将爬取的段子写入文件
      file = open(file_name,'a',encoding='utf-8')
      file.write('\n'.join(duanzi.split()))
      file.close()
    except OSError as e:
      print(e)


以上就是扣丁学堂Python在线学习小编给大家分享的Python3使用正则表达式爬取内涵段子,希望对小伙伴们有所帮助。想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询,扣丁学堂是专业的Python培训机构,扣丁学堂不仅有专业的老师和与时俱进的课程体系,还有大量的Python在线视频供学员观看学习,喜欢Python的小伙伴快快行动吧。扣丁学堂python学习交流群:816572891。微信号:codingbb



工程师
2021-03-18 23:55:47     打赏
2楼

代码写的非常不错


共2条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]