当前位置:
首页
正文

如何启动并运行 Hadoop

更新时间: 2023-04-06 15:15:23  作者: 佚名

一则或许对你有用的小广告

欢迎加入小哈的星球 ，你将获得：专属的项目实战 / 1v1 提问 / Java 学习路线 / 学习打卡 / 每月赠书 / 社群讨论

  • 新项目:《从零手撸：仿小红书（微服务架构）》 正在持续爆肝中，基于 Spring Cloud Alibaba + Spring Boot 3.x + JDK 17...，点击查看项目介绍 ;
  • 《从零手撸：前后端分离博客项目（全栈开发）》 2 期已完结，演示链接： http://116.62.199.48/ ;

截止目前， 星球 内专栏累计输出 63w+ 字，讲解图 2808+ 张，还在持续爆肝中.. 后续还会上新更多项目，目标是将 Java 领域典型的项目都整一波，如秒杀系统, 在线商城, IM 即时通讯，权限管理，Spring Cloud Alibaba 微服务等等，已有 2200+ 小伙伴加入学习 ，欢迎点击围观

如果您不想使用专用硬件来进行快速设置和研究，那么虚拟机将是正确的选择。

设置虚拟机

第一步：下载虚拟机​​播放器

您可以从 这里 免费下载 VM Player。

继续并在您的主机操作系统上安装。

第二步：下载虚拟机

你可以从 这里 下载合法的 CentOs6 镜像。

您甚至可以 下载 为大数据需求量身定制的 Cloudera Quick Start VM。

下载后，将其解压缩到主机操作系统中的合适位置。

第三步：启动虚拟机

点击“打开虚拟机”

选择您已经提取的那个

点击“播放虚拟机”

您可能需要帮助 VM Player，当出现提示时点击“我复制了它”

使用密码“tomtom”登录

登录成功会显示桌面画面

安装Java

第 1 步：确保 CentOS 系统是完全最新的

成为超级用户并运行 yum update 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第二步：安装JDK 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

在 Windows 中，它是一键安装过程 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

CentOS6下，JDK安装在以下文件夹下 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

安装 Hadoop

第 3 步：创建新用户以运行 hadoop 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 4 步：下载 Hadoop 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

现在我们可以将 hadoop 放在 /usr/share/hadoop 文件夹下 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 5 步：更改所有权 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

步骤 6：更新环境变量 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

在 Windows 中一切都很简单 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 7 步：测试 Hadoop 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

步骤 8：修复 SSH 问题

如果您在启动 dfs（名称节点、数据节点或纱线）时遇到与 SSH 相关的问题，则可能是 SSH 未安装或未运行。

问题#1： 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

问题#2： 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

解决方案

安装 SSH 服务器/客户端 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

启用 SSH 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

创建空短语 SSH 密钥，这样您就不必在 hadoop 工作时手动输入密码 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

验证执行 SSH 不会提示输入密码 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

启动所有组件 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

Hadoop集群

硬盘文件系统

以伪分布式模式运行 Hadoop

第 1 步：更新 core-site.xml

将以下内容添加到 core-site.xml 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 2 步：更新 hdfs-site.xml

将以下内容添加到 hdfs-site.xml 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 3 步：更新 mapred-site.xml

将以下内容添加到 mapred-site.xml 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 3 步：更新 yarn-site.xml

将以下内容添加到 yarn-site.xml 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 4 步：名称节点格式 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 5 步：停止 Hadoop 组件 


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

Windows 问题

问题 #1：JAVA_HOME 相关问题

解决方案： 设置不同

问题 #2：无法找到 winutils 二进制文件

解决方案： 下载 并复制 hadoop-common-2.2.0/bin 文件夹并将它们粘贴到 HADOOP_HOME/bin 文件夹。或者，您可以按照 此处 所述为您自己的环境构建 hadoop。

问题 #3：“系统找不到 指定的批次标签 ”

解决方案： 从 这里 下载 unix2dos 并运行所有 hadoop 批处理文件。

相关文章