源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

python操作 hbase 数据的方法

  • 时间:2020-06-02 05:06 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:python操作 hbase 数据的方法
[b]配置 thrift[/b] [b]python使用的包 thrift[/b] 个人使用的python 编译器是pycharm community edition. 在工程中设置中,找到project interpreter, 在相应的工程下,找到package,然后选择 “+” 添加, 搜索 hbase-thrift (Python client for HBase Thrift interface),然后安装包。 安装服务器端thrift。 参考官网,同时也可以在本机上安装以终端使用。 [b]thrift Getting Started[/b] 也可以参考安装方法 [b][url=http://www.1sucai.cn/article/100401.htm]python 调用HBase 范例[/url][/b] 首先,安装thrift 下载thrift,这里,我用的是thrift-0.7.0-dev.tar.gz 这个版本 tar xzf thrift-0.7.0-dev.tar.gz cd thrift-0.7.0-dev sudo ./configure –with-cpp=no –with-ruby=no sudo make sudo make install 然后,到HBase的源码包里,找到 src/main/resources/org/apache/hadoop/hbase/thrift/ 执行 thrift –gen py Hbase.thrift mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根据python版本可能有不同) 获取数据示例 1
# coding:utf-8

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation
from hbase.ttypes import *

import csv


def client_conn():
 # Make socket
 transport = TSocket.TSocket('hostname,like:localhost', port)
 # Buffering is critical. Raw sockets are very slow
 transport = TTransport.TBufferedTransport(transport)
 # Wrap in a protocol
 protocol = TBinaryProtocol.TBinaryProtocol(transport)
 # Create a client to use the protocol encoder
 client = Hbase.Client(protocol)
 # Connect!
 transport.open()
 return client

if __name__ == "__main__":

 client = client_conn()

 # r = client.getRowWithColumns('table name', 'row name', ['column name'])
 # print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))

 result = client.getRow("table name","row name")
 data_simple =[]

 # print result[0].columns.items()

 for k, v in result[0].columns.items(): #.keys()
  #data.append((k,v))
  # print type(k),type(v),v.value,,v.timestamp
  data_simple.append((v.timestamp, v.value))

 writer.writerows(data)
 csvfile.close()

 csvfile_simple = open("data_xy_simple.csv", "wb")
 writer_simple = csv.writer(csvfile_simple)
 writer_simple.writerow(["timestamp", "value"])
 writer_simple.writerows(data_simple)
 csvfile_simple.close()

 print "finished"
会基础的python应该知道result是个list,result[0].columns.items()是一个dict 的键值对。可以查询相关资料。或者通过输出变量,观察变量的值与类型。 [b]说明:[/b]上面程序中 transport.open()进行链接,在执行完后,还需要断开transport.close() 目前只涉及到读数据,之后还会继续更新其他dbase操作。 以上这篇python操作 hbase 数据的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持编程素材网。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部