在闲置笔记本上安装Ubuntu20.04，作为服务器使用。配置Hadoop、Spark环境，用以大数据学习的实验操作。在这个过程中遇到各种各样的问题，针对不同的问题和需求，搜寻了许多解决方案。此文对此进行记录。方便以后遇到相似问题时，能够快速寻找到解决办法！

Ubuntu20.04使用过程记录

一、安装篇

1.1、制作启动盘

U盘如何安装centos7系统？

1.2、安装过程

1. 语言选择，先用英文安装，进入后再改中文界面。目的是为了使用英文的目录，方便导航。如何更改ubuntu的系统语言
2. 关于用户设置，在安装过程中强制你注册一个用户（并非root）
3. 初始root的密码，当用su root命令切换root用户时，发现密码怎么输都不对。ubuntu root默认密码（初始密码）
4. 连接wifi，解决安装后没有wifi开关的问题，ubuntu20.04连接wifi的方法(2种)
5. 安装中文输入法，搜狗输入法linux-安装指导 (sogou.com)

二、配置篇

2.1、Ubuntu的环境变量

1. 查看和设置，Ubuntu设置和查看环境变量_
2. 了解Ubuntu的环境变量机制（比较特别），Ubuntu系统环境变量详解

2.2、查找某个软件是否存在

【Ubuntu】Ubuntu查找文件的命令

1. whereis，搜索特定格式的文件（什么都能搜）
2. which，在PATH变量指定的路径中，搜索某个系统命令的位置，并且返回第一个搜索结果
3. find，find命令准确，但速度非常慢，它可以查找任何类型的文件

2.3、配置 JDK

1. 安装JDK：Linux之Ubuntu20.04安装Java JDK8的两种方式

2. JDK-1.8.0 和 JDK-8 的区别？同人不同名 一文搞懂JDK8与Java1.8的区别

3. 配置JAVA_HOME，首先需要找到 jdk 的实际目录， 如何在 Ubuntu Linux 中正确地设置 JAVA_HOME 变量

   #一个很管用的命令，直接使用下面这条命令跟随符号链接来以获取实际的可执行文件
   readlink -f `which java`

   根据这篇文章修改后，还需要进一步改进，获取出来的路径是/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java，但是设置JAVA_HOME时，只需要/usr/lib/jvm/java-8-openjdk-amd64/jre这一部分。即使bin/的上一级目录

2.4、换源

ubuntu20.04更换国内源方法

三、远程连接篇

3.1、XShell和SFtp连接

Xftp 6 连接到 Ubuntu 20.02 （图解教程）

ubuntu20.04 下查看（改变）本地端口开放情况，开启和关闭防火墙

3.2、远程桌面

Ubuntu 20.04 自带远程桌面体验 - 知乎 (zhihu.com)

注意，文章中没有提到要在远程机（也就是服务器）上打开5900端口。需要手动打开，否则是连接不上的！

四、大数据篇

4.1、安装 hadoop 2.10

见Hadoop安装教程 - timegogo

1. 解压tgz文件
2. 配置环境变量

4.2、安装Spark

Spark2.1.0入门：Spark的安装和使用_厦大数据库实验室博客 (xmu.edu.cn)

4.3、安装Scala

见Spark从搭建到运行 - timegogo

1. 解压tgz文件
2. 配置环境变量

4.4、Spark编程 WordCount

Spark2.1.0入门：第一个Spark应用程序：WordCount_厦大数据库实验室博客 (xmu.edu.cn)

解决IDEA运行Spark程序，报错如下的问题：

Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/hadoop/...

原因是因为 依赖没有正确导入。

解决办法参考：mac系统使用idea+sbt运行spark程序