Kafka Connect 是一個(gè)可以在Kafka與其他系統(tǒng)之間提供可靠的、易于擴(kuò)展的數(shù)據(jù)流處理工具。使用它能夠使得數(shù)據(jù)進(jìn)出Kafka變得很簡(jiǎn)單。Kafka Connect有如下特性:
·是一個(gè)通用的構(gòu)造kafka connector的框架
·有單機(jī)、分布式兩種模式。開發(fā)時(shí)建議使用單機(jī)模式,生產(chǎn)環(huán)境下使用分布式模式。
·提供restful的管理connector的API。
·自動(dòng)化的offset管理。Kafka Connect自動(dòng)的管理offset提交。
·分布式、可擴(kuò)展。采用與concumer group中對(duì)partition rebalance同樣的機(jī)制來管理在worker group中的connector、task。
·流/批處理的集成。
接下來會(huì)對(duì)Kafka Connect做一個(gè)全面的分析,來幫助了解上述特性。