本文共 1555 字，大约阅读时间需要 5 分钟。
1.前言
Hadoop必须先安装JDK，未安装的请自行安装。本次使用的是Hadoop 3.2.1。
2.配置SSH免密登录
在macOS上，您可以通过打开系统偏好设置-共享-远程登录来启用远程登录功能。 运行以下命令生成SSH密钥对： `ssh-keygen -t rsa` 将生成的公钥添加到`~/.ssh/authorized_keys`文件中： `cat ~/.ssh/id-rsa.pub > ~/.ssh/authorized_keys` 验证免密登录是否成功： `ssh localhost`
3.安装Hadoop
将Hadoop 3.2.1的tar.gz文件解压到指定目录，并进行以下配置。
3.1设置环境变量
打开文件`~/.bash_profile`并添加以下内容： ```bash export HADOOP_HOME=/Users/xiongpeng/library/hadoop/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin ``` 读取并执行配置： `source ~/.bash_profile`
3.2配置hadoop-env.sh
编辑`hadoop-env.sh`文件（位于`$HADOOP_HOME/etc/hadoop`），添加以下环境变量： ```bash export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home export HADOOP_CONF_DIR=/Users/xiongpeng/Library/hadoop/hadoop-3.2.1/etc/hadoop ```
3.3修改core-site.xml
编辑`core-site.xml`文件，设置`fs.defaultFS`为HDFS地址： ```xml
fs.defaultFS hdfs://XXXXXXXXX:9000 hadoop.tmp.dir /Users/xiongpeng/library/hadoop/hadoop-3.2.1/tmp ```请根据实际主机名更新`XXXXXXXXX`。
3.4修改hdfs-site.xml
编辑`hdfs-site.xml`文件，设置副本数量为1： ```xml
dfs.replication 1 ```
3.5修改mapred-site.xml
编辑`mapred-site.xml`文件，设置MapReduce使用Yarn： ```xml
mapreduce.framework.name yarn ```
3.6修改yarn-site.xml
编辑`yarn-site.xml`文件，设置Yarn的辅助服务和环境白名单： ```xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME ```
4.运行Hadoop
格式化HDFS文件系统： `bin/hdfs namenode -format` 启动所有Hadoop进程： `sbin/start-all.sh` 查看运行状态： `jps`
登录地址
通过浏览器访问Hadoop集群的主机地址： `http://XXXXXXXXX:8080` 请根据实际IP地址更新链接。
转载地址：http://gmufk.baihongyu.com/