在大型企業(yè)中,由于業(yè)務(wù)復(fù)雜、數(shù)據(jù)量大、數(shù)據(jù)格式不同、數(shù)據(jù)交互格式繁雜,并非所有的操作都能通過(guò)交互界面進(jìn)行處理。而有一些操作需要定期讀取大批量的數(shù)據(jù),然后進(jìn)行一系列的后續(xù)處理。這樣的過(guò)程就是“批處理”。
批處理應(yīng)用通常有以下特點(diǎn):
數(shù)據(jù)量大,從數(shù)萬(wàn)到數(shù)百萬(wàn)甚至上億不等;
整個(gè)過(guò)程全部自動(dòng)化,并預(yù)留一定接口進(jìn)行自定義配置;
這樣的應(yīng)用通常是周期性運(yùn)行,比如按日、周、月運(yùn)行;
對(duì)數(shù)據(jù)處理的準(zhǔn)確性要求高,并且需要容錯(cuò)機(jī)制、回滾機(jī)制、完善的日志監(jiān)控等。
什么是Spring batch
Spring batch是一個(gè)輕量級(jí)的全面的批處理框架,它專為大型企業(yè)而設(shè)計(jì),幫助開(kāi)發(fā)健壯的批處理應(yīng)用。Spring batch為處理大批量數(shù)據(jù)提供了很多必要的可重用的功能,比如日志追蹤、事務(wù)管理、job執(zhí)行統(tǒng)計(jì)、重啟job和資源管理等。同時(shí)它也提供了優(yōu)化和分片技術(shù)用于實(shí)現(xiàn)高性能的批處理任務(wù)。
它的核心功能包括:
事務(wù)管理
基于塊的處理過(guò)程
聲明式的輸入/輸出操作
啟動(dòng)、終止、重啟任務(wù)
重試/跳過(guò)任務(wù)
基于Web的管理員接口
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26