转自:https://www.cppentry.com/bencandy.php?fid=118&id=187016
本文的测试环境为hbase-0.96.0 + yarn(hadoop-2.0.3-alpha) + pig-0.12.0。在测试前,先创建了一张名为test的hbase表,它内容非常简单,就只有一行数据:
HBase export工具导出的数据的格式是sequence file。比如,在执行完命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Export test test-output-001”后,hbase会启动一个MapReduce作业,作业完成后会在hdfs上面会生成sequence file格式的数据文件:
当然,对于这类Sequence file格式的数据文件,HBase是可以直接将它导入到HBase的表里面的。
比如,我们创建另外一张hbase空表,名为test-01。命令为:“create 'test-01','cf'”。此时,表test-01的内容为空。
然后,执行命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Import test-01 test-output-001”,随后hbase会启动一个MapReduce 作业:
此时,我们可以看到表test-01中已经成功导入了数据:
如果想从HBase中直接导出CSV格式的数据文件,可以借助Pig。步骤为:
a) 编辑名为ExportHbase.pig的文件:
REGISTER ${HBASE_HOME}/lib/htrace-core-2.01.jar;
REGISTER ${PIG_HOME}/contrib/piggybank/java/piggybank.jar;
x = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf:c1');
STORE x INTO 'test-tbl-data.csv' USING PigStorage('$');
b) 执行命令“bin/pig -x mapreduce ExportHbase.pig”,然后Pig会启动一个MapReduce job,执行完毕后会在hdfs上生成CSV格式的数据:
除了利用Pig,还可以用别的方法从HBase 导出CSV格式的数据:
- 编写Java程序,调用HBase API。
具体方法可以参考http://blog.csdn.net/macyang/article/details/8522677.
- 把HBase生成的Sequence file转化成CSV格式的文件
相关推荐
通过条件查询hbase数据导出csv,文本,html等文件,实现方式:将hbase关联hive,然后将hive数据导入真实表,在将真实表数据导入sql数据库
简单的介绍了habse存储数据的样子和简单的hbase shell 使用
这是hbase对数据存储的代码实现,让你轻松秒懂hbase,
出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop....
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体...
HBase官方指南——数据模型篇
分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载...
tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中
springboot搭建的hbase可视化界面 支持hbase的建表与删除 支持根据rowkey查询数据
从HBase的集群搭建、HBaseshell操作、java编程、架构、原理、涉及的数据结构,并且结合陌陌海量消息存储案例来讲解实战HBase 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为...
hbase基于快照的数据迁移,hbase提供的数据迁移方案。
HBASE调优 HBASE技术框架与存储模型 v HBASE调优 v 硬件 v 系统参数 v java v 表的设计 v 客户端 v 服务器端
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)
java操作Hbase之从Hbase中读取数据写入hdfs中源码,附带全部所需jar包,欢迎下载学习。
hbase海量数据的全量导入方法,大数据导入。
NULL 博文链接:https://jsh0401.iteye.com/blog/2096103
基于Django LayUI HBase的文献数据挖掘系统.zip
hbase备份和数据恢复,hbase与hive的互导,hbase和hdfs互导。
nosql实验五-HBase数据迁移与数据备份&恢复
python 连接hbase 打印数据。hbase 的一些源数据未转化