本系列文章主要闡述大數(shù)據(jù)計(jì)算平臺相關(guān)框架的搭建,包括如下內(nèi)容:
基礎(chǔ)環(huán)境安裝
zookeeper集群的搭建
kafka集群的搭建
hadoop/hbase集群的搭建
spark集群的搭建
flink集群的搭建
elasticsearch集群的搭建
alluxio集群的搭建
1.zookeeper簡介
Zookeeper是一個(gè)分布式的、開源的分布式應(yīng)用協(xié)調(diào)服務(wù),它暴露了一組簡單的基礎(chǔ)原件,分布式應(yīng)用可以在這些原件之上實(shí)現(xiàn)更高級別的服務(wù),主要使用場景和功能如下:
Naming service
Configuration management
Synchronization
Leader election
Message Queue
Notification system
其集群管理和命名服務(wù)在kafka、hadoop、spark中均有相關(guān)應(yīng)用。
2.zookeeper安裝
下載
官網(wǎng)地址:http://zookeeper.apache.org/releases.html,本文選擇穩(wěn)定版3.4.8
解壓安裝
本文環(huán)境列表
直接在服務(wù)器10.20.112.59上執(zhí)行解壓