本系列文章主要闡述大數(shù)據(jù)計(jì)算平臺相關(guān)框架的搭建,包括如下內(nèi)容:
基礎(chǔ)環(huán)境安裝
zookeeper集群的搭建
kafka集群的搭建
hadoop/hbase集群的搭建
spark集群的搭建
flink集群的搭建
elasticsearch集群的搭建
alluxio集群的搭建
1.kafak簡介
Kafka是一個分布式、分區(qū)的、多副本的、多訂閱者的消息隊(duì)列,以高吞吐量著稱,主要用于實(shí)時數(shù)據(jù)的傳輸和處理,總體架構(gòu)如下
更多內(nèi)容請閱讀官網(wǎng) http://kafka.apache.org/documentation.html#introduction
2.kafka安裝
下載
地址:http://kafka.apache.org/downloads,選擇kafka_2.11-0.10.2.1.tgz版本
解壓安裝
本文環(huán)境列表
直接在服務(wù)器10.20.112.59上解壓