hadoop 相关的软件列表

首页

linux下搭建hadoop环境步骤分享

2020-02-16 标签:linux,搭建,hadoop,环境,步骤,分享,下载,wget,http,apache,freelamp,com,core,stable,20,tar

1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK,从oracle网站上直接下载JDK,地址:http://

首页

hbase shell基础和常用命令详解

2020-02-16 标签:hbase,shell,基础,常用,命令,详解,google,bigtable,开源,实现,利用,hadoop,hdfs,作为,其文,存储系统,mapreduce,来处

HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigt

hadoop client与datanode的通信协议分析
首页

hadoop client与datanode的通信协议分析

2020-02-16 标签:hadoop,client,datanode,通信协议,分析,本文,主要,客户端,read,write,block,流程,以及,通信,协议,数据流,格式,n,amenode,通过

本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等.hadoop客户端与namenode通信通过RPC协议, 但是client 与datanode通信并没有使用RPC, 而是直接使用socket, 其中读写时的协议也

首页

hadoop 单机安装配置教程

2020-02-16 标签:hadoop,单机,安装,配置,教程,主要,用于,程序逻辑,调试,步骤,基本,通分,包括,环境,变量,配置文件,ssh,区别

单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装,包括环境变量,主要Hadoop配置文件,SSH配置等。主要的区别在于配置文件:slaves配置需要修改,另外如果分布式安装中dfs.replication大于1,需要修改为1,因为只有1个datanode. 分布式安装请参考: http://a