大数据培训新三板挂牌机构 股票代码:837906 | EN CN
异常解决方案—NameNode 宕机读写测试
异常解决方案—NameNode 宕机切换实验
异常解决方案—Data Node 配置
异常解决方案—Backup Node配置
异常解决方案—NameNode配置
异常解决方案—6.5.1异常情况分析
安装及配置
5NameNode安装及配置以及6BackupNode安装及配置
6.4.4虚拟机集群架设
6.4.3安装JDK
3.配置操作系统
2.创建虚拟机与安装操作系统
6.4构建实验环境
实验方案说明
故障切换机制
日志池(journal spool)机制
元数据操作情景分——BackupNode更新磁盘上的日志文件
元数据操作情景分——NameNode通过日志输出流......
元数据操作情景分——NameNode将日志写入日志文件
元数据操作情景分——NameNode更新内存镜像
元数据操作情景分——客户端执行命令流程
元数据操作情景分
Hadoop的Backup Node方案——运行机制分析(5)
Hadoop的Backup Node方案——运行机制分析(4)
Hadoop的Backup Node方案——运行机制分析(3)
Hadoop的Backup Node方案——运行机制分析(2)
Hadoop的Backup Node方案——运行机制分析(1)
Hadoop的Backup Node方案——系统架构
Hadoop的Backup Node方案—Backup Node 概述
元数据可靠性机制以及使用说明
Checkpoint 过程情景分析
元数据更新及日志写入情景分析
NameNode启动加载元数据情景分析
Hadoop的元数据备份机制的进行分析
元数据应用场景分析
Format情景分析
磁盘元数据文件
HDFS之代码分析——元数据结构
HDFS之内存元数据结构
什么是HDFS的元数据
Hadoop中DRDB方案和AvatarNode方案
Hadoop中常用各方案的对比
Hadoop的BackupNode方案
Hadoop的CheckpointNode方案
Hadoop的SecondaryNameNode方案
Hadoop的元数据备份方案
影响HDFS可用性的几个因素
什么是高可用性? 详细解析
HDFS系统架构简介
如何安装和配置Hadoop集群
如何在Windows下安装Hadoop
在MacOSX上安装与配置Hadoop
Linux下安装Hadoop的步骤
Hadoop的集群安全策略介绍
Hive的数据管理介绍
HBase的数据管理介绍
HDFS的数据管理介绍
Hadoop计算模型之 MapReduce 简介
Hadoop于分布式开发
Hadoop体系结构介绍
Hadoop的项目结构详解
一文读懂Hadoop

6.4构建实验环境

于2018-01-23由小牛君创建

分享到:


如前所述,实验环境采用虚拟机VMware进行构建,通常情况下,读者在一台物理机器上就可以完成整个实验。关于VMware的使用,请参考《虚拟智慧——VMwareVsphere运维实录》,清华大学出版社。

6.4.1网络拓扑


实验环境的网络拓扑,包括一个NameNode,一个BackupNode4DataNode以及4Client

image.png

其中,每个Client和相应的DataNode共用一个虚拟机,因此,整个实验环境

需要6个虚拟机,读者在具体部署时,可根据实际情况减少DataNodeClient的个数,但至少要各保持1个,具体配置如表所示。

6.4.2系统安装及配置

本节我们将创建一个虚拟机,在虚拟机上安装Linux操作系统并进行相应配置,以此作为实验环境中的基准系统。虚拟机以文件的形式在磁盘上存储,因此,我们在安装其他节点的时候,就可以复制已经制作好的虚拟机文件,无需重新安装。步骤描述如下。

1)准备一台安装了Windows操作系统(最好是Windows7,可以利用4GB以上的内存)的主机,主机的CPU没有特殊要求,内存最好在2GB以上,硬盘在160GB以上。提示:后续所有的实验都将在这台主机上运行。

2)安装虚拟机软件VMware7,它可以在一台物理机器上创建多个虚拟机,对于用户来说,每一个虚拟机就如同一台真实的物理机器。

3)使用VMware7创建网络拓扑中的虚拟机。

4)在创建的虚拟机上安装Linux操作系统,并进行相应的配置。

详细步骤描述如下。

1.安装虚拟机

视频参见:\视频\4BackupNode\1vmware安装流程

我们采用的虚拟机软件版本为7.1,安装程序为:

vmware-workstation-full-7.1.4-385536.exe

1)双击安装程序。

2)自定义安装。

image.png

3)选择要安装的操作系统类型。

4)选择虚拟机存储目录。用户创建的虚拟机的所有信息,如配置、系统信息、虚拟机磁盘内容等,都以文件的形式存储,在此,选择这些虚拟机文件的存储路径。

image.png

5)开始安装。

6)安装完毕。

image.png

7)设置虚拟机引导启动的镜像文件。虚拟机可以使用ISO镜像文件作为其引导启动的文件,这就好比我们在使用物理机器时,将引导光盘插入光驱。至此虚拟机创建完毕,我们可以在之前设置的虚拟机存储目录下看到虚拟机文件,接下来在创建好的虚拟机上安装Linux操作系统。

8)启动虚拟机。虚拟机启动时,可以按F2键查看虚拟机的引导方式,确保从光盘引导。如果虚拟机从光盘镜像引导,按回车键进入下一步。

image.png