發(fā)布時間：2024-10-05 01:53

　　在做數據分析處理時,一個作業(yè)往往不能達到我們的業(yè)務目的,執(zhí)行過程中通常會涉及多個作業(yè)任務,這些作業(yè)按照邏輯執(zhí)行關系連接,存在著相互依賴關系。若當前系統(tǒng)每天都會因交易的進行,新增大量數據,而業(yè)務部門要求每天進行一次統(tǒng)計處理,那么需要以天為周期執(zhí)行上述流程。在這種情況下,分析團隊必須進行系統(tǒng)性的作業(yè)管理,為了簡化作業(yè)調度工作,減輕工作量,同時實現分析任務工作流的自動化管理,星環(huán)公司在大數據平臺的基礎上發(fā)布了工作流管理工具,Transwarp Workflow。本文描述的Transwarp Workflow系統(tǒng)是一種用于實現工作流調度DAG設計與管理的圖形化工具,它支持Shell、SQL以及自定義Java任務等任務類型。用戶設定好任務執(zhí)行的邏輯執(zhí)行順序之后,它可以自動運行工作流上的離線批處理任務。本項目后端的主要編程語言是Java,整體基于微服務的方式,通過Spring Boot框架進行了快速的搭建,通過Spring的面向切面編程和依賴注入實現模塊間低耦合以及高可擴展性,使用SpringMVC框架設計后端服務,提供RESTful接口,前后端通過RESTful接口進行通信,采用MyBatis持久...

【文章頁數】：83 頁

【學位級別】：碩士

【部分圖文】：

圖２．１?ＭｙＢａｔｉｓ整體架構設計圖??如圖２．１所示，ＭｙＢａｔｉｓ從架構層面可以被分為三層，分別是基礎支撐層、??數據處理層和ＡＰＩ接口層［榮艷冬，２０１５］

１??圖２．１?ＭｙＢａｔｉｓ整體架構設計圖??如圖２．１所示，ＭｙＢａｔｉｓ從架構層面可以被分為三層，分別是基礎支撐層、??數據處理層和ＡＰＩ接口層［榮艷冬，２０１５］。??（１）基礎支撐層：基礎支撐層負責對數據處理層提供最基礎的功能支撐，將??加載配置文件、連接管理、事務管理....

圖３．１?Ｗｏｒｋｆｌｏｗ調度系統(tǒng)用例圖??３．２功能性需求分析??根據圖３．１的系統(tǒng)用例圖，具體分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系統(tǒng)的功能需求，??

圖３．１?Ｗｏｒｋｆｌｏｗ調度系統(tǒng)用例圖??３．２功能性需求分析??根據圖３．１的系統(tǒng)用例圖，具體分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系統(tǒng)的功能需求，??比較重要的具體有以下幾種，其余不進行詳細描述：??（１）．全局配置功能??系統(tǒng)有一些可以進行修改的全局配置，需要提供配置功....

圖３．２統(tǒng)計分析功能用例圖??１６??Ｉ??

直觀展示結果。??理功能??通知主要為已發(fā)布工作流執(zhí)行成功或失敗時進行通知，志顯示以及實時狀態(tài)頁面，可添加郵件或短信業(yè)務，在全配置好發(fā)送協議和收件箱即可在任務結束時發(fā)送表格化執(zhí)與收集信息。??執(zhí)行節(jié)點需要可選，具體到子任務級別。在執(zhí)行狀態(tài)變工作流，在首頁訪問服務器時及時進行最新通....

圖３．３任務調度功能用例圖??任務調度功能的用例圖如圖３．３所示

?Ｉ??圖３．３任務調度功能用例圖??任務調度功能的用例圖如圖３．３所示。任務調度功能是工作流管理系統(tǒng)的核??心，需求分析得出任務調度主要有以下四種情況：（１）上線工作流后系統(tǒng)進行定時??調度，包括因依賴某工作流而觸發(fā)的工作流。（２）設計完工作流后進行調試，一??些任務類型需要直....

本文編號：4007406