当前位置：首页 > 资讯 > 技术文档

Python3使用requests包抓取并保存网页源码的方法

时间：2021-11-28 22:26 编辑：来源：阅读：
扫一扫，手机访问

摘要：Python3使用requests包抓取并保存网页源码的方法

本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考，具体如下：使用Python 3的requests模块抓取网页源码并保存到文件示例：

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

这是一个基本的文件保存操作，但这里有几个值得注意的问题： 1.安装requests包，命令行输入pip install requests即可自动安装。很多人推荐使用requests，自带的urllib.request也可以抓取网页源码 2.open方法encoding参数设为utf-8，否则保存的文件会出现乱码。 3.如果直接在cmd中输出抓取的内容，会提示各种编码错误，所以保存到文件查看。 4.with open方法是更好的写法，可以自动操作完毕后释放资源。另一个例子：

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

这是演示读取一个txt文件，每次读取一行，并保存到另一个txt文件中的示例。因为在命令行中打印每次读取一行的数据，中文会出现编码错误，所以每次读取一行并保存到另一个文件，这样来测试读取是否正常。（注意open的时候制定encoding编码方式）转自：小谈博客 http://www.tantengvip.com/2015/05/requests-html/ 希望本文所述对大家Python程序设计有所帮助。

全部评论(0)

上一篇：Python中使用copy模块实现列表(list)拷贝
下一篇：Python开发实例分享bt种子爬虫程序和种子解析

资讯排行榜
更多>>