Kafka Connect 是一個(gè)可以在Kafka與其他系統(tǒng)之間提供可靠的、易于擴(kuò)展的數(shù)據(jù)流處理工具。使用它能夠使得數(shù)據(jù)進(jìn)出Kafka變得很簡(jiǎn)單。Kafka Connect有如下特性:

·是一個(gè)通用的構(gòu)造kafka connector的框架

·有單機(jī)、分布式兩種模式。開發(fā)時(shí)建議使用單機(jī)模式,生產(chǎn)環(huán)境下使用分布式模式。

·提供restful的管理connector的API。

·自動(dòng)化的offset管理。Kafka Connect自動(dòng)的管理offset提交。

·分布式、可擴(kuò)展。采用與concumer group中對(duì)partition rebalance同樣的機(jī)制來管理在worker group中的connector、task。

·流/批處理的集成。

接下來會(huì)對(duì)Kafka Connect做一個(gè)全面的分析,來幫助了解上述特性。