爬蟲系統(tǒng)升級改造正式啟動:

    在第一篇文章,博主主要介紹了本次改造的爬蟲系統(tǒng)的業(yè)務(wù)背景與全局規(guī)劃構(gòu)思:

    未來Support云系統(tǒng),不僅僅是爬蟲系統(tǒng),是集爬取數(shù)據(jù)、數(shù)據(jù)建模處理統(tǒng)計分析、支持全文檢索資源庫、其他業(yè)務(wù)部門和公司資訊系統(tǒng)重要數(shù)據(jù)來源、輔助決策等功能于一身的企業(yè)級Support系統(tǒng)。

    介于好多園友對博主的任務(wù)排期表感興趣,便介紹一下博主當(dāng)時針對這個系統(tǒng)做的工作任務(wù)排期概要(排期表就是更加詳細(xì)細(xì)分外加估算工時的一份excel表格,就不貼出來了):

      1.總分四大階段,逐步上線,最終達到預(yù)期規(guī)劃

      2.第一階段實現(xiàn)一個新的采集系統(tǒng),自動實時化爬取數(shù)據(jù)、初步規(guī)則引擎實現(xiàn)數(shù)據(jù)規(guī)則化、統(tǒng)計郵件自動推送、開放數(shù)據(jù)檢索,并上線替換原有爬蟲系統(tǒng)

      3.第二階段實現(xiàn)規(guī)則化引擎升級,擴展成長式規(guī)則引擎,并開放采集源提交、管理、規(guī)則配置、基礎(chǔ)數(shù)據(jù)服務(wù)等基本系統(tǒng)操作

      4.第三階段引入全文檢索,針對規(guī)則化數(shù)據(jù)創(chuàng)建索引,提供數(shù)據(jù)全文搜索功能,開放工單申請,可定制數(shù)據(jù)報告

網(wǎng)友評論