python连接hive的几种方式
·基于pyhive连接hive。
·基于impyla连接hive。
方法一:使用PyHive库
安装依赖包:其中sasl安装可能会报错,可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载对应版本安装。
pip install sasl pip install thrift pip install thrift-sasl pip install PyHive
相关推荐:《Python基础教程》
Python脚本代码操作:
from pyhive import hive # or import hive conn = hive.Connection(host='****', port=****, username='****', database='****') cursor.execute(''SELECT * FROM my_awesome_data LIMIT 10'') for i in range(****): sql = "INSERT INTO **** VALUES ({},'username{}')".format(value, str(username)) cursor.execute(sql) # 下面是官网代码: from pyhive import presto # or import hive cursor = presto.connect('localhost').cursor() cursor.execute('SELECT * FROM my_awesome_data LIMIT 10') print(cursor.fetchone()) print(cursor.fetchall())
方法二:使用impyla库
impyla依赖包:
pip install six pip install bit-array pip install thriftpy
为了支持Hive还需要以下两个包:
pip install sasl pip install thrift-sasl
可在Python PyPI中下载impyla及其依赖包的源码
Python脚本代码:
from impala.dbapi import connect conn = connect(host ='****',port = ****) cursor = conn.cursor() cursor.execute('SELECT * FROM mytable LIMIT 100') print cursor.description # 打印结果集的schema results = cursor.fetchall()
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 模板不会安装或需要功能定制以及二次开发?
发表评论
还没有评论,快来抢沙发吧!