欢迎您光临我的个人网站!


2010-04-24

Yahoo也发布了云计算平台上的Benchmark数据集

Posted in 实验室, 云计算 at 20:36 by 仲远

标签:
Zhongyuan Wang

97100fe403b8

Yahoo! Research is pleased to announce the release of the Yahoo! 
Cloud Serving Benchmark, YCSB v. 0.1.0, as an open source package. 
YCSB is a common benchmarking framework for cloud database,
 storage and serving systems. Results for benchmarking HBase, 
Cassandra, PNUTS and MySQL will be presented at the upcoming 
ACM Symposium on Cloud Computing on June 11. The toolkit is 
extensible to supp...查看全文

2010-04-16

一场火山爆发所引发的“蝴蝶效应事件”

Posted in 随笔, 实验室, 云计算 at 20:26 by 仲远

标签:
一场火山爆发所引发的“蝴蝶效应事件”

这几天地球颇不平静,中国也颇不平静。干旱了,矿难了,地震了,总统也遇难了……“砖家”们也说地球最近确实是进入了活跃期。
本周四,冰岛南部埃亚菲亚德拉冰盖下一座火山喷发,形成的巨大火山灰云层,使得欧洲多个国家,包括挪威、瑞典、芬兰、丹麦、爱尔兰、英国、法国、德国、波兰等国都成了“禁飞区”,这些国家宣布关闭机场,封闭领空,航线停运...查看全文

2010-04-04

Hive启动报错解决方法

Posted in 云计算 at 0:04 by 仲远

标签:

启动Hive时报错如下:
wamdm@WAMDM5:~/hive/build/dist/bin$ ./hive
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:247)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:149)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
   ...查看全文

2010-03-25

HBase中的HMaster对象讨论

Posted in 云计算 at 13:17 by 仲远

标签:

要想获得HBase中的各种元信息,或许比较有效的方式就是得到HMaster对象了。因为HMaster对象能够再获得getClusterStatus()、getConfiguration()、getRootRegionLocation()、getServerManager()等等许多重要的管理信息。
不过,在查阅了网上的一些资料以及查看官方提供的API说明后,我发现在一个HBase中,似乎只能有一个HMaster对象,因而不能够通过new HMaster(conf)来创建HMaster对象。因此只能通过想...查看全文

2010-03-04

实验级别的云计算系统节点配置要求

Posted in 云计算 at 21:42 by 仲远

标签:

经过一段时间的实际使用,以及根据阅读的文献中关于云计算系统的实验设置,我们可以得出在目前,要想搭建一个能够与其它机构进行横向比较的实验级别的云计算系统,其每个节点(即每台机器)的参考配置为:
CPU:1~2 quad-core CPUs
RAM:8~16GB memory
DISK:1T disks
NETWORK:1G Ethernet
如果达到以上配置,我们认为基本达到实验级别的云计算系统配置要求了。...查看全文

2010-01-31

完成双核云数据管理系统初步开发,启程回家

Posted in 实验室, 云计算 at 1:40 by 仲远

标签:

经过一个多月的努力(尤其是这个月来的集中开发),我们实验室的云数据管理系统项目已经初步构建起来。目前,我们完成的工作包括:
1、完成系统调研,成功配置云计算环境;
2、成功构建项目框架,明确开发目标,解决一些关键性问题;
3、完成部分功能,包括基于双核云计算执行引擎的统一接口,载入CDR样本数据,以及支持基本SQL查询功能等;
4...查看全文

2010-01-25

Ubuntu Server中设置用户最大打开文件数量的方法

Posted in 云计算 at 23:42 by 仲远

标签:

在《开始研究HBase-0.20.2版》一文中,曾经说到,现在的Hbase,已经成为了一个“消耗文件句柄的肥猪”(a file handle hog),那么,如果解决这个问题呢。今天就介绍一种在Ubuntu Linux中,如何设置用户最大打开文件数量的方法:
1、启用pam_limits.so (暂不确定是否一定需要)
sudo vim /etc/pam.d/common-session 
添加如下一行:
session required pam_limits.so
2、修改 sudo vim...查看全文

2010-01-22

Hbase 0.20.2在启动时的小bug

Posted in 云计算 at 13:58 by 仲远

标签:

Hbase 0.20.x默认的日志输出级别为DEBUG,因此常常会看到一大堆的调试信息,以及一大堆的Exception,可能会让用户比较困惑。
其中一个会造成困惑的Exception就是在重启Hbase的时候,可能会遇到如下的Exception:
java.io.IOException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/master
        at org.apache.hadoop.hbase.zookeeper.ZooKeeperWrapper.readAddressOrThrow(Zo...查看全文

2010-01-19

Hbase重启之后就无法启动的原因及解决办法

Posted in FreeBSD/Unix服务器, 云计算 at 15:33 by 仲远

标签:

Hbase重启之后就无法启动的现象:
当我们使用Hbase 0.20.2的时候,遇到了2个奇怪的问题。
我们使用了数台机器构建了一个集群,并且按照Hadoop/Hbase的”Getting Started”安装配置了Hadoop和Hbase。之后能够正常启动Hadoop和Hbase,并且创建table和插入数据。
不过,当我们访问Master的页面时: http://10.37.17.252:60010/master.jsp ,我们发现了第一个问题:在regionserver区域,出...查看全文

2010-01-10

Hbase配置和开发中的几个注意事项

Posted in 云计算 at 16:04 by 仲远

标签:

在配置Hadoop和Hbase的过程中,虽然官方网站上有很多丰富的文档,但是常常仍然会有一些细枝末节的问题,成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项:
(1)修改节点主机名的问题
在配置文件中使用机器主机名(如WAMDM1)作为通讯方式的时候,需要修改2个文件:/etc/hosts 以及 /etc/hostname
(2)修改Classpath的...查看全文

Pages (2): [1] 2 »