C++博客-flyonok-随笔分类-hadoophttp://www.cppblog.com/flyonok/category/14548.htmlzh-cnFri, 13 Apr 2012 04:35:29 GMTFri, 13 Apr 2012 04:35:29 GMT60《社交网站的数据挖掘与分析》前言http://www.cppblog.com/flyonok/archive/2012/04/09/170550.htmlflyonokflyonokMon, 09 Apr 2012 01:48:00 GMThttp://www.cppblog.com/flyonok/archive/2012/04/09/170550.htmlhttp://www.cppblog.com/flyonok/comments/170550.htmlhttp://www.cppblog.com/flyonok/archive/2012/04/09/170550.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/170550.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/170550.html阅读全文

flyonok 2012-04-09 09:48 发表评论
]]>hadoop and pythonhttp://www.cppblog.com/flyonok/archive/2010/08/21/124213.htmlflyonokflyonokSat, 21 Aug 2010 13:36:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/21/124213.htmlhttp://www.cppblog.com/flyonok/comments/124213.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/21/124213.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/124213.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/124213.html著名音乐站点Last.fm发布了基于Python的Dumbo（小 飞象）项目，Dumbo能够帮助Python开发者更方便的编写Hadoop应用，并且Dumbo为MapReduce应用提供了灵活易用的Python API。Last.fm的开发者，同时也是Dumbo项目发起人Klaas Bosteels 认为，对于定制Hadoop应用，使用Python语言代替Java会让工作变得更有效率。
project website:http://wiki.github.com/klbostee/dumbo/
nginx和python环境搭建：http://www.dbasky.net/archives/2009/08/nginx-python-django-memcached-mysql-fastcgi.html



flyonok 2010-08-21 21:36 发表评论
]]>九大最值得信赖的云计算提供商http://www.cppblog.com/flyonok/archive/2010/08/17/123769.htmlflyonokflyonokTue, 17 Aug 2010 15:29:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/17/123769.htmlhttp://www.cppblog.com/flyonok/comments/123769.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/17/123769.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/123769.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/123769.html

云计算当道，如何将自己的数据交付给最令你信任的云计算厂商？下面介绍的9家网络存储和支持厂商将是你的最佳选择。


　　第一家服务商：Jungle Disk Workgroup Edition


　　Jungle Disk Workgroup Edition是一家文件存储和支持服务商，每月向每位用户收取的起步服务价是2美元。另外，对每月每存储1KB字节额外收取0.15美元；每上传1KB字节收取0.10美元；每下载1KB字节收取0.17美元。


　　第二家服务商：Box.net企业


　　Box.net企业是一家文件共享和存储服务商。每用户每15BG字节收取的起步服务价是15美元。更多细节，请查阅Chris Preimesberger撰写的“Symantec Acquires Online Backup Service”的文章。


　　第三家服务商：MozyPro


　　MozyPro是一家网络支持服务商，针对台式机的起步服务价为3.95美元，另外，每月每1GB字节 收取的台式机许可费为0.50美元；或针对服务器的起步服务价为6.95美元，每月每1GB字节收取的服务器许可费为0.50美元。有关MozyPro更 多详情，请查阅Chris Preimesberger写的 “EMC Upping Prices for MozyPro Online Backup”的文章。


　　第四家服务商：Carbonite


　　Carbonite是一家网络支持服务商，一年的服务起步价为49.95美元，没有入网限制。有关Carbonite更多详情，请查阅Larry Seltzer写的专栏文章“Backup Becomes a Standard PC Feature”。


　　第五家服务商：Egnyte


　　Egnyte是一家网络支持和文件共享服务商，每月每用户起步服务价为15美元，对拥有三个以上帐户的用户没有存储限制。


　　第六家服务商：Swapdrive


　　Swapdrive是一家网络支持服务商，每月每1GB字节收取36美元，或每年每1GB字节收取 360美元。有关Swapdrive详情，请查阅Chris Preimesberger写的 “Symantec Acquires Online Backup Service”的文章。


　　第七家服务商：Evault


　　Evault是一家网络支持服务商，其网站上没有披露价格信息。若欲了解Evault详情，请查阅Chris Preimesberger写的“Why We’re Starting to Trust Storage in the Cloud”文章。


　　第八家服务商：Windows Live SkyDrive


　　Windows Live SkyDrive是一家网络文件存储服务商，对5GB的文件存储没有设定起 步服务价格。有关Windows Live SkyDrive详情，请查阅Frank Ohlhorst写的 “Microsoft’s Pie in the Sky Play with SkyDrive”的文章。


　　第九家服务商：Symantec Online Backup


　　Symantec Online Backup是一家网络支持服务商，每存储10GB字节的起步服务价 为9.99美元。有关Symantec Online Backup详情，请查阅Brian Prince写的 “Symantec Builds Out SAAS Business with Remote Access Control”的文章。



flyonok 2010-08-17 23:29 发表评论
]]>kfs简介http://www.cppblog.com/flyonok/archive/2010/08/17/123768.htmlflyonokflyonokTue, 17 Aug 2010 15:15:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/17/123768.htmlhttp://www.cppblog.com/flyonok/comments/123768.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/17/123768.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/123768.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/123768.html

基于GFS思想的分布式文件系统Kosmosfs[转]
2008-10-16 09:43
KFS（KOSMOS DISTRIBUTED FILE SYSTEM），不是KFC(肯德基)哦，是一个类似GFS的开源分布式文件系统。

自从去年Google 发布了他的几款主要产品gfs,bigtable,map-reduce 的相关文档后，一些牛人就马上行动起来，折腾出来实现类似功能的开源产品了，kfs就是其中之一，主要模仿的是gfs的功能。

gfs,bigtable,map-reduce是google产品的三大基石，而这三个产品现在都有了对应的开源实现：

gfs:
kfs(据传google创始人的同窗所创)，hdfs(hadoop的子项目)

bigtable:
hbase(hadoop的子项目)，Hypertable（从hbase项目组分离出去的，用c++实现）

map-reduce:
hadoop（apache的项目，使用java实现，目前在yahoo全力打造，已可以支持2000个以上的节点并行计算的规模）

还是先说说KFS吧，这个项目说起来和Google还有点渊源，江湖传闻Google的两个共同创始人佩奇和布林有两个大学同窗，名叫Anand Rajaraman和Venky Harinarayan，是两个印度人，看到Google获得巨大成功之后，心里有点不服气，于是就动手做了个一个新的搜索引擎Kosmix，希望能证明他们的能力也是很强的，在做这个搜索引擎的过程中，他们实现了一个类似GFS的文件系统KFS，并把它开源了。

KFS是用C++写的，但是其客户端支持C++,Java,Python方式的调用。并且，现在已经可以被Hadoop和Hypertable这两个项目支持，作为底层存储。

那么KFS到底有什么特性呢？

  1. 自动存储扩充（添加新的chunckserver,系统自动感知）
  2. 有效性（复制机制保证文件有效性，一般文件会被以三种方式存储，当其中一个chunkserver出现错误的时候，不会影响数据的读取；）
  3. 文件复制粒度：可以配置文件复制的粒度，最大可以被复制64份
  4. 还原复制：当其中一个Chunckserver出现故障的时候，Metaserver会强制使用其他的chunckserver
  5. 负载平衡（系统周期地检查chunkservers的磁盘利用，并重新平衡chunkservers的磁盘利用，HDFS现在还没有支持）
  6. 数据完整性（当要读取数据时检查数据的完整性，如果检验出错使用另外的备份覆盖当前的数据）
  7. 文 件写入：当一个应用程序创建了一个文件，这个文件名会被立刻写入文件系统，但为了性能，写入的数据会被缓存在kfs客户端.并且周期性的从缓存中把数据更 新到chunkserver中。当然，应用程序也可以强制把数据更新到服务器上。一旦数据被更新到服务器，就可以被有效的读取了。（我怎么能知道这个文件什么时候可以读取了呢？）
  8. 契约（使用契约来保证Client缓存的数据和文件系统中的文件保持一致性）
  9. 支持FUSE（在linux系统下，可以通过Fuse 映射一个文件夹，从而可以很方便的读取kfs的文件）
  10. 支持C++,Java,Python方式的调用
  11. 提供了丰富的工具程序，如kfsshell,cp2kfs等
  12. 提供了启动和停止服务的脚本

KFS高级特性：

  1. 支持同一文件多次写入和Append，不过不能在文件中间插入数据。 （HDFS支持一次写入多次读取，不支持Append）
  2. 文件及时生效，当应用程序创建一个文件时,文件名在系统马上有效。（HDFS文件只当输入流关闭时才在系统中有效，因此，如果应用程序在关闭前出现异常导致没有关闭输入流，数据将会丢失。)
    这一点好像也不是很好，如果输入流中断，在kfs里会留下一个错误的文件，当读取时会出现错误，好像也没有太大的意义。


flyonok 2010-08-17 23:15 发表评论
]]>hadoop and s3http://www.cppblog.com/flyonok/archive/2010/08/16/123606.htmlflyonokflyonokMon, 16 Aug 2010 08:13:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/16/123606.htmlhttp://www.cppblog.com/flyonok/comments/123606.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/16/123606.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/123606.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/123606.html
一 :配置,hadoop-site.xml的配置如下
<property>
  <name>fs.default.name</name>
  <value>s3://BUCKET</value>
</property>

<property>
  <name>fs.s3.awsAccessKeyId</name>
  <value>ID</value>
</property>

<property>
  <name>fs.s3.awsSecretAccessKey</name>
  <value>SECRET</value>
</property>
或者
<property>
  <name>fs.default.name</name>
  <value>s3://ID:SECRET@BUCKET</value>
</property>
二:hadoop通过package org.apache.hadoop.fs.s3 和 package org.apache.hadoop.fs.s3native来調用s3的存储服务,在s3里有下面几个概念:accesskey,secritykey,bucket,object


flyonok 2010-08-16 16:13 发表评论
]]>hadoop 编译http://www.cppblog.com/flyonok/archive/2010/08/13/123380.htmlflyonokflyonokFri, 13 Aug 2010 13:40:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/13/123380.htmlhttp://www.cppblog.com/flyonok/comments/123380.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/13/123380.html#Feedback0http://www.cppblog.com/flyonok/comments/commentRss/123380.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/123380.html

import org.eclipse.core.runtime.IProgressMonitor;出错.

跑到相应的文件夹下去看jar包里的文件,确实没有这个,

在网上查了下,

原来所要的IProgressMonitor在

org.eclipse.equinox.common这个jar中,

所以再导入这个jar到你的工程中就可以了



flyonok 2010-08-13 21:40 发表评论
]]>thrift and php 环境搭建http://www.cppblog.com/flyonok/archive/2010/08/12/123154.htmlflyonokflyonokThu, 12 Aug 2010 02:56:00 GMThttp://www.cppblog.com/flyonok/archive/2010/08/12/123154.htmlhttp://www.cppblog.com/flyonok/comments/123154.htmlhttp://www.cppblog.com/flyonok/archive/2010/08/12/123154.html#Feedback1http://www.cppblog.com/flyonok/comments/commentRss/123154.htmlhttp://www.cppblog.com/flyonok/services/trackbacks/123154.html阅读全文

flyonok 2010-08-12 10:56 发表评论
]]>