当前位置：首页 > 资讯 > 技术文档

python中urllib模块用法实例详解

时间：2021-06-26 14:31 编辑：来源：阅读：
扫一扫，手机访问

摘要：python中urllib模块用法实例详解

本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下： [b]一、问题：[/b] 近期公司项目的需求是根据客户提供的api，我们定时去获取数据，之前的方案是用php收集任务存入到redis队列，然后在linux下做一个常驻进程跑某一个php文件，该php文件就一个无限循环，判断redis队列，有就执行，没有就break. [b]二、解决方法：[/b] 最近刚好学了一下python, python的urllib模块或许比php的curl更快，而且简单. 贴一下代码

[u]复制代码[/u] 代码如下:

#_*_ coding:utf-8 _*_

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

import os

import json

from urllib import urlopen

doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()

doc = json.loads(doc)

print doc

print doc.keys()

print doc["msg"]

print doc['data']

print doc['ret']

发现第一次访问所需要的时间为[Finished in 3.0s] 而第二次访问的时间为[Finished in 0.2s] 可见python的urllib模块是加有缓存的 urllib/2用法典型的例子

[u]复制代码[/u] 代码如下:

    import urllib2

    import cookielib

    import urllib
    class Hi_login:

        def __init__(self):

            cookie = cookielib.CookieJar()

            self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###

        def login(self,user,pwd):

            url='http://passport.baidu.com/?login'

            postdata=urllib.urlencode({

          'mem_pass':'on',

          'password':pwd

           'Submit':'',

          'tpl':'sp',

          'tp_reg':'sp',

          'u' :'http://hi.baidu.com',

          'username':user})

            ### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####

            opener = urllib2.build_opener(self.cookie) ### 使用cookie ###

            headers = { ####### dict结构，可以加入x-forward-for甚至refer等 #######

           'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

            urllib2.install_opener(opener)

            request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)

            urllib2.urlopen(request)

    if __name__=='__main__':

       pwd='123456'

       user='xiaofu'

       test=Hi_login()

       test.login(user,pwd)

假如访问需要认证的页面比如nagios监控页面等，

[u]复制代码[/u] 代码如下:

    import urllib2

    password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

    url = "http://202.1.x.y/nagios"

    password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')

    handler = urllib2.HTTPBasicAuthHandler(password_mgr)

    opener = urllib2.build_opener(handler)

    urllib2.install_opener(opener)

    f=urllib2.urlopen(url)

    print f.code

返回结果200，否则就是401认证错误希望本文所述对大家的Python程序设计有所帮助。

全部评论(0)

上一篇：Python中的Matplotlib模块入门教程
下一篇：从零学python系列之新版本导入httplib模块报ImportError解决方案

资讯排行榜
更多>>