win10 Spark环境搭建 Spark在Win10下的环境搭建过程
帅天下 人气:0想了解Spark在Win10下的环境搭建过程的相关内容吗，帅天下在本文为您仔细讲解win10 Spark环境搭建的相关知识和一些Code实例，欢迎阅读和指正，我们先划重点：win10,Spark环境搭建,win10,Spark搭建，下面大家一起来学习吧。
前言
本章将介绍如何在WIN10下实现spark环境搭建。
本章概要
1、版本说明
2、环境准备：
- jdk配置；
- scala安装与配置；
- spark安装与配置；
- hadoop安装与配置；
版本说明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
环境准备
jdk配置
1、配置JAVA_HOME与Path：
Path
2、验证配置：
scala安装与配置
1、scala下载：
访问官方地址
http://www.scala-lang.org/download/2.11.8.html
2、配置Path：
3、验证配置：
Spark安装与配置
1、spark下载：
访问官方地址
http://spark.apache.org/downloads.html
选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多）
2、解压至D盘；
3、配置Path：
4、通过spark-shell进入Spark的交互式命令行模式：
如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。
Hadoop安装与配置
1、hadoop下载
访问官方
http://hadoop.apache.org/releases.html
进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快）
2、解压至
3、配置HADOOP_HOME&Path：
path：
4、winutils下载：
https://github.com/steveloughran/winutils
下载对应版本的bin目录直接替换本地bin目录即可。
5、此时继续spark-shell进入spark命令行交互模式：
此时即不会出现上述的异常提示。
6、访问控制台中的webui如下：
加载全部内容