站长整理的百度贴吧Python爬虫程序（在Python3.8版本下调试通过）

admin

Python语言是更高级的编程语言，能够用极少的代码量编写出其它语言需要数倍代码才能实现的功能，能够灵活引入包实现专属功能，比如操作Excel（通过xlwings）实现VBA宏功能。站长于2020年做了Python语言入门，2年后的2022年在企业内部组织实施HR人力资源管理系统，利用Python语言编写代码读取Excel导入MySQL来实现HR系统数据初始化，Python编程能力得到较大提升。最近整理修改了一个爬虫程序，可以爬取贴吧帖子标题，分享给大家，抛砖引玉。（附代码文件及输出结果）

1. # encoding=utf-8
   
2. import urllib
   
3. import urllib.request
   
4. 
   
5. import re
   
6. 
   
7. 
   
8. class teiba():
   
9.     def spider(self, name, startPage, endPage):
   
10.         url = "https://tieba.baidu.com/f?ie=utf-8&"
    
11.         url += urllib.parse.urlencode({"kw": name})
    
12.         for page in range(startPage, endPage + 1):
    
13.             pn = 50 * (page - 1)
    
14.             urlFull = url + "&" + urllib.parse.urlencode({"pn": pn})
    
15.             print (urlFull)
    
16.             html = self.loadPage(urlFull)
    
17.             self.dealPage(html, page)
    
18. 
    
19.     def loadPage(self, url):
    
20.         header = {
    
21.             "User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"
    
22.         }
    
23.         request = urllib.request.Request(url, headers=header)
    
24.         response = urllib.request.urlopen(request)
    
25.         html = response.read()
    
26.         print(html)
    
27.         return html
    
28. 
    
29.     def dealPage(self, html, page):
    
30.         partten = re.compile(
    
31.             r'<a\s+rel="noopener"\s+href="/p/\d+"\s+title=".*?"\s+target="_blank" class="j_th_tit\s+">(.*?)</a>',
    
32.             re.S)
    
33.         html = html.decode('utf-8')  # python3
    
34.         titleList = partten.findall(html)
    
35.         print(titleList)
    
36.         rstr = r'<span\s+class="topic-tag"\s+data-name=".*?">#(.*?)#</span>'
    
37.         for title in titleList:
    
38.             title = re.sub(rstr, "", title)
    
39.             #print(title)
    
40.             self.writePage(title, page)
    
41. 
    
42.     def writePage(self, context, page):
    
43.         fileName = "di" + str(page) + "yehtml.txt"
    
44.         with open(fileName, "a") as file:
    
45.             file.writelines(context + "\n")
    
46. 
    
47. 
    
48. if __name__ == '__main__':
    
49.     name = input("请输入贴吧名：")
    
50.     startPage = input("请输入起始页：")
    
51.     endPage = input("请输入终止页：")
    
52.     t = teiba()
    
53.     t.spider(name, int(startPage), int(endPage))
    

复制代码