查询的标签:


Hive启动报错解决方法

标签: , and

启动Hive时报错如下:
wamdm@WAMDM5:~/hive/build/dist/bin$ ./hive
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:247)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:149)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
    ...

No Comments »

Ubuntu Server中设置用户最大打开文件数量的方法

标签: , and

在《开始研究HBase-0.20.2版》一文中,曾经说到,现在的Hbase,已经成为了一个“消耗文件句柄的肥猪”(a file handle hog),那么,如果解决这个问题呢。今天就介绍一种在Ubuntu Linux中,如何设置用户最大打开文件数量的方法:
1、启用pam_limits.so (暂不确定是否一定需要)
sudo vim /etc/pam.d/common-session 
添加如下一行:
session required pam_limits.so
2、修改 sudo vim...

1 Comment »

Hbase重启之后就无法启动的原因及解决办法

标签: , , and

Hbase重启之后就无法启动的现象:
当我们使用Hbase 0.20.2的时候,遇到了2个奇怪的问题。
我们使用了数台机器构建了一个集群,并且按照Hadoop/Hbase的"Getting Started"安装配置了Hadoop和Hbase。之后能够正常启动Hadoop和Hbase,并且创建table和插入数据。
不过,当我们访问Master的页面时: http://10.37.17.252:60010/master.jsp ,我们发现了第一个问题:在regionserver区域,出...

1 Comment »

Hbase配置和开发中的几个注意事项

标签: , , and

在配置Hadoop和Hbase的过程中,虽然官方网站上有很多丰富的文档,但是常常仍然会有一些细枝末节的问题,成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项:
(1)修改节点主机名的问题
在配置文件中使用机器主机名(如WAMDM1)作为通讯方式的时候,需要修改2个文件:/etc/hosts 以及 /etc/hostname
(2)修改Classpath的...

No Comments »

使用Eclipse3.4编译部署Hadoop/Hbase工程时需要修正的BUG

标签: , , , , and

最近我们在通过使用Eclipse3.4版来开发部署Hadoop的工程以及Hbase的工程。不过首要条件是需要先将Hadoop在本地部署起来。在本地下载部署Hadoop源代码的时候,需要注意几点:
1、Hadoop需要在Linux/Unix下进行工程部署
如果打算在Windows下使用Eclipse来部署Hadoop工程,需要安装Linux虚拟环境。所以还是建议直接在Linux下使用Eclipse部署Hadoop。
2、添加两个software update
http:...

No Comments »

Eclipse

标签: , , , , and

Sun公司开发了Java,这一创新性的编程语言发布十几年来,已经风靡全球,成为最广为使用的编程语言之一。不过,一个好的编程语言,还需要一个好的开发环境,为此,IBM开发了Eclipse这个集成开发环境,又大大方便了Java的推广与使用。Eclipse的中文意思是日食,俗称“天狗吃太阳”。不知道IBM当初给这个IDE命名的时候,是不是希望把Sun这个太阳吃掉?不过,总而言之,不管...

No Comments »

最近发现淘宝数据仓库团队也在研究Hadoop

标签: , , , and

最近,在网上查找资料的时候,发现淘宝数据仓库团队有一个Blog:http://rdc.taobao.com/blog/dw/,这个Blog上有许多淘宝数据仓库团队的技术文章。我仔细看了看,还是很不错的。因此推荐一下。

发现他们最近也在研究Hadoop,而且还写了一些Hadoop的配置及使用细节,如《hadoop使用中的几个小细节》还是相当实用的。
我也已经关注云计算有相当长的一段时间了,我的网站...

No Comments »