IDEA Big Data Tools 连接大数据

简介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。

下面来看一下 Big Data Tools 的安装和使用，主要会配置 Flink,Kafka 和 HDFS。

安装 Big Data Tools 插件

点击安装完成之后，需要重启一下 IDEA，插件才能生效，上面我已经安装过了。

Flink 配置（不推荐）

flink 需要下载即将发布的 IDEA 2022.2-EAP 版本才有，因为之前是不支持 flink 的。

先点击 IDEA 右侧的 Big Data Tools，然后点击加号就可以添加 Flink 组件了。

输入 Flink WEB UI 地址，点击 OK 就可以了。

这样就可以直接在 IDEA 里面查看 Flink Dashboard，跟在 Web UI 上的功能完全一样，点击箭头所指的地方可以直接跳转到 Flink UI,虽然可以直接在 IDEA 里面查看 Dashboard，但是个人感觉还是在 Flink Web UI 上查看更加方便，可能是看习惯了。不是太推荐这个功能。

Kafka 配置（推荐）

然后来看一下 kafka 的配置。

同样的，点击加号选择 Kafka 然后设置一下 Kafka 集群的 broker list ，点击 OK 就行了。

可以看到所有 topic 的详细信息，包括 partition，replicas 等，还可以查看 Consumers 的情况，这个功能还是不错的，虽然现在也有很多开源的 kafka 监控工具，但是配置起来还是有一点门槛，这个插件的配置几乎是零门槛，对于简单的查看 kafka 的信息还是非常不错的。

HDFS 配置（推荐）

最后再来配置一个 HDFS。

Authentication type 选择 Explicit uri 然后设置一下 HDFS 服务地址就可以了。

直接就可以查看 HDFS 上的目录及文件，这个功能还是非常方便的，就不用在登录 HDFS-Web 去查看文件了。

总结

从 Big Data Tools 插件的安装配置到使用，主要介绍了 Flink，Kafka,HDFS,这三个组件的配置使用，整个配置过程是非常简单的，当然这个插件支持的组件远不止这些，包括像 spark，hive，zeppelin 等都是支持的，感兴趣的同学可以自己在 IDEA 里面体验一下，整体上来说，这个插件还是非常有用的。