2010年4月4日 0:04
启动Hive时报错如下:
wamdm@WAMDM5:~/hive/build/dist/bin$ ./hive
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:149)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
...
No Comments »
2010年1月25日 23:42
在《开始研究HBase-0.20.2版》一文中,曾经说到,现在的Hbase,已经成为了一个“消耗文件句柄的肥猪”(a file handle hog),那么,如果解决这个问题呢。今天就介绍一种在Ubuntu Linux中,如何设置用户最大打开文件数量的方法:
1、启用pam_limits.so (暂不确定是否一定需要)
sudo vim /etc/pam.d/common-session
添加如下一行:
session required pam_limits.so
2、修改 sudo vim...
1 Comment »
2010年1月19日 15:33
Hbase重启之后就无法启动的现象:
当我们使用Hbase 0.20.2的时候,遇到了2个奇怪的问题。
我们使用了数台机器构建了一个集群,并且按照Hadoop/Hbase的"Getting Started"安装配置了Hadoop和Hbase。之后能够正常启动Hadoop和Hbase,并且创建table和插入数据。
不过,当我们访问Master的页面时: http://10.37.17.252:60010/master.jsp ,我们发现了第一个问题:在regionserver区域,出...
1 Comment »
2010年1月10日 16:04
在配置Hadoop和Hbase的过程中,虽然官方网站上有很多丰富的文档,但是常常仍然会有一些细枝末节的问题,成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项:
(1)修改节点主机名的问题
在配置文件中使用机器主机名(如WAMDM1)作为通讯方式的时候,需要修改2个文件:/etc/hosts 以及 /etc/hostname
(2)修改Classpath的...
No Comments »
2009年7月28日 22:06
最近我们在通过使用Eclipse3.4版来开发部署Hadoop的工程以及Hbase的工程。不过首要条件是需要先将Hadoop在本地部署起来。在本地下载部署Hadoop源代码的时候,需要注意几点:
1、Hadoop需要在Linux/Unix下进行工程部署
如果打算在Windows下使用Eclipse来部署Hadoop工程,需要安装Linux虚拟环境。所以还是建议直接在Linux下使用Eclipse部署Hadoop。
2、添加两个software update
http:...
No Comments »
2009年7月22日 16:54
Sun公司开发了Java,这一创新性的编程语言发布十几年来,已经风靡全球,成为最广为使用的编程语言之一。不过,一个好的编程语言,还需要一个好的开发环境,为此,IBM开发了Eclipse这个集成开发环境,又大大方便了Java的推广与使用。Eclipse的中文意思是日食,俗称“天狗吃太阳”。不知道IBM当初给这个IDE命名的时候,是不是希望把Sun这个太阳吃掉?不过,总而言之,不管...
No Comments »
2008年12月10日 20:22
最近,在网上查找资料的时候,发现淘宝数据仓库团队有一个Blog:http://rdc.taobao.com/blog/dw/,这个Blog上有许多淘宝数据仓库团队的技术文章。我仔细看了看,还是很不错的。因此推荐一下。
发现他们最近也在研究Hadoop,而且还写了一些Hadoop的配置及使用细节,如《hadoop使用中的几个小细节》还是相当实用的。
我也已经关注云计算有相当长的一段时间了,我的网站...
No Comments »