Kafka Connect 是一個可以在Kafka與其他系統(tǒng)之間提供可靠的、易于擴展的數(shù)據(jù)流處理工具。使用它能夠使得數(shù)據(jù)進出Kafka變得很簡單。Kafka Connect有如下特性:

·是一個通用的構造kafka connector的框架

·有單機、分布式兩種模式。開發(fā)時建議使用單機模式,生產(chǎn)環(huán)境下使用分布式模式。

·提供restful的管理connector的API。

·自動化的offset管理。Kafka Connect自動的管理offset提交。

·分布式、可擴展。采用與concumer group中對partition rebalance同樣的機制來管理在worker group中的connector、task。

·流/批處理的集成。

接下來會對Kafka Connect做一個全面的分析,來幫助了解上述特性。