導(dǎo)讀

國內(nèi)某頭部券商是國內(nèi)排名前三的全國性大型綜合證券公司。作為證券行業(yè)領(lǐng)頭羊之一，該券商一直高度重視核心系統(tǒng)的自主可控以及網(wǎng)絡(luò)信息安全。早些時候，其已經(jīng)完成了信創(chuàng)化數(shù)據(jù)庫改造和OA系統(tǒng)適配，接下來的當(dāng)務(wù)之急是完成數(shù)據(jù)能力平臺的信創(chuàng)化改造。隨著該券商近年來數(shù)據(jù)中臺的發(fā)展，企業(yè)內(nèi)部數(shù)據(jù)系統(tǒng)紛繁龐雜，需要統(tǒng)一的調(diào)度系統(tǒng)來實現(xiàn)調(diào)度管理統(tǒng)一化、監(jiān)控可視化、預(yù)警智能化等功能。在經(jīng)過長時間調(diào)研之后，該券商攜手白鯨開源，基于白鯨調(diào)度系統(tǒng)為其數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案，助力其建設(shè) DataOps 底座。本文將詳細介紹該券商基于白鯨調(diào)度系統(tǒng)在其復(fù)雜多樣的金融信貸場景中實踐應(yīng)用。

背景

核心系統(tǒng)自主可控以及網(wǎng)絡(luò)信息安全已經(jīng)是國家戰(zhàn)略層面的重要問題，在證券行業(yè)更是向來是被高度重視的話題。2023年6月9日，中國證券業(yè)協(xié)會印發(fā)《證券公司網(wǎng)絡(luò)和信息安全三年提升計劃(2023-2025)》?！队媱潯饭膭钊绦畔⒖萍假Y金投入占比提升至23-25年平均營收的7%或平均凈利潤的10%，同時高度重視自主可控和信息安全。在《計劃》提到的31項主要任務(wù)中，其中有17項任務(wù)關(guān)于提高數(shù)據(jù)架構(gòu)與核心系統(tǒng)的自主掌控能力和安全防控能力。2022年國內(nèi)金融信創(chuàng)發(fā)展迅速，據(jù)不完全統(tǒng)計，2022年金融信創(chuàng)項目數(shù)同比增長300%，在券商行業(yè)，信創(chuàng)建設(shè)主要集中在數(shù)據(jù)庫改造、OA系統(tǒng)適配、交易系統(tǒng)的改造、數(shù)據(jù)能力平臺建設(shè)等方面。

作為證券行業(yè)領(lǐng)頭羊之一，該券商以數(shù)據(jù)為引擎，賦能精準(zhǔn)投放產(chǎn)品和服務(wù)，做到業(yè)務(wù)和科技超融合，形成有效閉環(huán)，希望同時解決之前面臨的幾大核心問題：

• 需求與供給的矛盾：響應(yīng)業(yè)務(wù)需求不及時，數(shù)據(jù)產(chǎn)品開發(fā)耗時過久、角色協(xié)作性不足

• 業(yè)務(wù)與技術(shù)的矛盾：缺少數(shù)據(jù)消費者反饋機制，數(shù)據(jù)產(chǎn)品運營能力不足，復(fù)用性不高

• 成本與效益的矛盾：數(shù)據(jù)價值未顯性化：對大數(shù)據(jù)能力建設(shè)的指導(dǎo)性不強

而隨著該券商數(shù)據(jù)驅(qū)動的深入，更多的業(yè)務(wù)部門對數(shù)據(jù)部門有更多的數(shù)據(jù)需求，傳統(tǒng)的數(shù)據(jù)賦能方式已經(jīng)無法滿足其需求。在信息化推動數(shù)字加發(fā)展的新時代，DataOps應(yīng)運而生，克服了傳統(tǒng)數(shù)據(jù)賦能的弊端。

DataOps作為數(shù)據(jù)管理技術(shù)，管理著從數(shù)據(jù)源到價值的信息流，加速從數(shù)據(jù)中提取價值的過程。它面向數(shù)據(jù)全生命周期，以價值最大化為目標(biāo)，利用自動化來提高數(shù)據(jù)和洞察力處理的敏捷性，協(xié)同數(shù)據(jù)開發(fā)、運營和管理全鏈路過程，實現(xiàn)數(shù)據(jù)研發(fā)運營的一體化、敏捷化、標(biāo)準(zhǔn)化、自動化、智能化、價值顯性化。DataOps的特點是敏捷、高效，能夠為企業(yè)帶來巨大的價值，促進企業(yè)數(shù)字化轉(zhuǎn)型，激發(fā)技術(shù)創(chuàng)新。

證券行業(yè)有著業(yè)務(wù)數(shù)據(jù)量大、數(shù)據(jù)處理過程復(fù)雜等特點，對于數(shù)據(jù)管道策略、建設(shè)和運營有著更加迫切的需求，為滿足實際業(yè)務(wù)需求，已經(jīng)走在了DataOps探索的前沿。

白鯨開源作為全球領(lǐng)先的DataOps解決方案提供商，成為該券商合作的首選，通過周密調(diào)研和細致驗證，其最終選定了白鯨開源作為合作伙伴，共同打造了國產(chǎn)信創(chuàng)化DataOps平臺，為數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案。

金融證券業(yè)務(wù)場景下調(diào)度系統(tǒng)的挑戰(zhàn)

該券商近年來數(shù)據(jù)中臺發(fā)展迅速，接到需求時，其已建成數(shù)據(jù)倉庫、數(shù)據(jù)交換、數(shù)據(jù)湖、數(shù)據(jù)管控等關(guān)系緊密的中臺系統(tǒng)。但是由于這些系統(tǒng)各自有著獨立的調(diào)度系統(tǒng)，執(zhí)行相應(yīng)的跑批作業(yè)，這會造成調(diào)度系統(tǒng)功能資源重復(fù)、任務(wù)管理不方便、運維監(jiān)控分散、系統(tǒng)間調(diào)度聯(lián)系不緊密等問題，所以，客戶最迫切的需求，是一個可以有助于快速構(gòu)建數(shù)據(jù)中臺并實施基礎(chǔ)數(shù)據(jù)平臺的工具，以實現(xiàn)調(diào)度管理統(tǒng)一化、監(jiān)控可視化、預(yù)警智能化等功能。

01 需求場景

具體來說，該券商對于這個統(tǒng)一調(diào)度平臺的需求包括：

• 遷移數(shù)據(jù)平臺、數(shù)據(jù)湖平臺

任務(wù)腳本遷移到統(tǒng)一的調(diào)度系統(tǒng)中。

• 需要關(guān)聯(lián)的平臺

要求使用統(tǒng)一調(diào)度系統(tǒng)調(diào)度第三方平臺的任務(wù)離線開發(fā)平臺，包括其自有的數(shù)據(jù)交換平臺。

02 各業(yè)務(wù)線挑戰(zhàn)和需求

從各個業(yè)務(wù)線層面來說，客戶面臨的挑戰(zhàn)和需求包括：

• 對信創(chuàng)環(huán)境的需求。

• 安全部門的需求，對于漏洞掃描以及安全漏洞修復(fù)的時效性有較高的要求。

• 數(shù)倉、數(shù)據(jù)湖、離線開發(fā)平臺、數(shù)據(jù)交換平臺等各個業(yè)務(wù)線各自有自己的調(diào)度系統(tǒng)，不能集中統(tǒng)一管理和監(jiān)控，運維成本巨大。

• 金融證券行業(yè)業(yè)務(wù)特性，有個性化節(jié)假日日歷以及動態(tài)更改日歷等強場景需求。

• 業(yè)務(wù)日期需要和節(jié)假日以及日歷緊密關(guān)聯(lián)。

• 任務(wù)在交易時間和非交易時間執(zhí)行的業(yè)務(wù)不一致。

• 對于事件觸發(fā)（文件、數(shù)據(jù)庫、消息等）的場景需求。

• 業(yè)務(wù)部門的任務(wù)總數(shù)量比較大，達到50W/天，對于任務(wù)的并發(fā)量需求比較大。

而高效的管理體系、統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、良好的數(shù)據(jù)質(zhì)量是數(shù)據(jù)價值實現(xiàn)的基礎(chǔ)，針對當(dāng)前客戶數(shù)據(jù)能力建設(shè)存在的問題，決定采用白鯨調(diào)度系統(tǒng)，以價值最大化為目標(biāo)，協(xié)同數(shù)據(jù)開發(fā)、運營和管理全鏈路過程的數(shù)據(jù)平臺，實現(xiàn)數(shù)據(jù)研發(fā)運營的一體化、敏捷化、標(biāo)準(zhǔn)化、自動化、智能化、價值顯性化，以實現(xiàn)持續(xù)精益數(shù)據(jù)開發(fā)、持續(xù)交付合規(guī)可信數(shù)據(jù)、數(shù)據(jù)服務(wù)更加完善的目標(biāo)：

• 數(shù)據(jù)開發(fā)運維一體化、敏捷化：通過關(guān)聯(lián)數(shù)據(jù)開發(fā)運營各項活動，構(gòu)建數(shù)據(jù)流水線，提升響應(yīng)和處理的敏捷性；

• 數(shù)據(jù)管理運營協(xié)同：數(shù)據(jù)管理成果通過被業(yè)務(wù)分析人員、數(shù)據(jù)科學(xué)家等角色自助使用，支撐業(yè)務(wù)運營，同時，運營結(jié)果反向指導(dǎo)數(shù)據(jù)管理工作，實現(xiàn)管理與運營的協(xié)同；

• 打造端到端業(yè)務(wù)價值鏈：倡導(dǎo)由數(shù)據(jù)價值驅(qū)動的數(shù)據(jù)開發(fā)運營，打破傳統(tǒng)的“數(shù)據(jù)管理是成本工作”的觀念，保證了數(shù)據(jù)開發(fā)運營服務(wù)于企業(yè)整體戰(zhàn)略發(fā)展，減少各業(yè)務(wù)線數(shù)據(jù)的割裂。

白鯨開源DataOps平臺助力客戶建設(shè)DataOps底座

白鯨調(diào)度系統(tǒng)是以自主研發(fā)的分布式調(diào)度引擎為核心，一站式、一體化的數(shù)據(jù)開發(fā)管理運營平臺，致力于在線集成環(huán)境下，統(tǒng)一完成數(shù)據(jù)的開發(fā)、編排、測試、調(diào)度、發(fā)布、服務(wù)和運維、監(jiān)控等工作。

該券商DataOps整體規(guī)劃分為三步進行，其中第一步解決數(shù)據(jù)底層操作調(diào)度系統(tǒng)問題，統(tǒng)一內(nèi)部數(shù)據(jù)倉庫、大數(shù)據(jù)集群、數(shù)據(jù)集市和科學(xué)計算平臺中運算資源和任務(wù)調(diào)度已經(jīng)完成，新一代國產(chǎn)信創(chuàng)的DataOps平臺的第一期項目——統(tǒng)一調(diào)度系統(tǒng)于2022年11月全棧信創(chuàng)化部署運行，為公司實現(xiàn)數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案， 具有全棧化信創(chuàng)技術(shù)支持、全面云、湖、倉一體化架構(gòu)、高性能、高可靠性、簡單易用、完整的數(shù)據(jù)運營能力等特點。

• 全局?jǐn)?shù)據(jù)治理、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)管理：客戶是一個數(shù)據(jù)密集型企業(yè)，數(shù)據(jù)來源紛繁龐雜，針對數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)主權(quán)、數(shù)據(jù)標(biāo)準(zhǔn)等問題，白鯨開源 DataOps 平臺全面適配信創(chuàng)技術(shù)，支持基礎(chǔ)環(huán)境、服務(wù)器、數(shù)據(jù)庫、中間件、客戶端、應(yīng)用軟件等信創(chuàng)適配，兼容國內(nèi)主流軟硬件廠商的產(chǎn)品，以專業(yè)的底層基礎(chǔ)能力推動上層業(yè)務(wù)的擴展和創(chuàng)新。

• 開發(fā)IDE/CICD管理：任務(wù)腳本可直接引用本地和遠程倉庫文件，無需重復(fù)工作；支持自動化的CI/CD流程，同時支持本地文件上傳與跨環(huán)境打包部署，幫助客戶快速適配DataOps流程，實現(xiàn)開發(fā)、測試、部署的整體流程提效。

• 批流一體數(shù)據(jù)集成：支持公有云、私有云和混合云，支持云原生，支持傳統(tǒng)數(shù)據(jù)倉庫，支持開源的數(shù)據(jù)湖，同時支持批流任務(wù)同時管理，讓企業(yè)用戶實現(xiàn)數(shù)據(jù)湖、數(shù)據(jù)倉庫、云的一體化調(diào)度。

• 數(shù)據(jù)服務(wù) API：白鯨開源 DataOps 以RESTful API 的形式提供數(shù)據(jù)服務(wù)API，可以讓開發(fā)人員通過編寫代碼來訪問和操作數(shù)據(jù)服務(wù)中的數(shù)據(jù)，而無需了解數(shù)據(jù)服務(wù)的底層實現(xiàn)細節(jié)。

• 數(shù)據(jù)編排調(diào)度：豐富的事件管理功能，支持自定義多種業(yè)務(wù)日歷與切日時間管理，滿足企業(yè)多部門間的協(xié)同使用場景。

• 管理和監(jiān)控：白鯨開源 DataOps 平臺配置中心提供監(jiān)控與配置看板，為客戶提供數(shù)據(jù)源管理、日歷時間管理、資源管理、并行度管理、告警監(jiān)控和多租戶管理。

白鯨調(diào)度系統(tǒng)推進信貸業(yè)務(wù)場景落地

針對客戶的業(yè)務(wù)線挑戰(zhàn)，白鯨開源DataOps平臺下的大數(shù)據(jù)任務(wù)調(diào)度組件——白鯨調(diào)度系統(tǒng)都能全面契合證券業(yè)務(wù)特點和功能需求：

• 統(tǒng)一數(shù)據(jù)調(diào)度平臺：指標(biāo)數(shù)據(jù)通過白鯨調(diào)度系統(tǒng)和 Shell 任務(wù)編排實現(xiàn)風(fēng)控離線數(shù)倉各分層數(shù)據(jù)的調(diào)度與流通、統(tǒng)一管理，支持不同的業(yè)務(wù)線之間的任務(wù)互相依賴，解決了各個業(yè)務(wù)線不能互相打通，各自為戰(zhàn)的問題。

• 通過自研技術(shù)，支持了全信創(chuàng)環(huán)境要求。

• 完善的商業(yè)服務(wù)，專業(yè)級漏洞掃描，確保安全漏洞修復(fù)的時效性。

• 完善的權(quán)限系統(tǒng)，支持對接客戶的權(quán)限系統(tǒng)，解決了單點登錄、統(tǒng)一用戶權(quán)限、項目和資源統(tǒng)一管理的強需求。

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供調(diào)度日歷、業(yè)務(wù)數(shù)據(jù)日歷分開，并支持不同時區(qū)、日歷導(dǎo)入等功能，針對企業(yè)調(diào)度當(dāng)中的業(yè)務(wù)數(shù)據(jù)日期/時間單獨進行設(shè)計，更好滿足行業(yè)需求，比如

• 支持多種日歷管理，多地區(qū)多市場的交易日、工作日、自然日等

• 支持日歷Excel模板導(dǎo)入

• 支持調(diào)度日歷與業(yè)務(wù)日歷分開

• 支持多時區(qū)、多偏移量設(shè)置

• 支持業(yè)務(wù)日期單獨管理，單獨切日

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供牌管理功能，支持業(yè)務(wù)時間單獨計算的需求。

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供了每日日切功能，解決交易時間業(yè)務(wù)特性的需求。

• 新增觸發(fā)器任務(wù)，支持事件監(jiān)控和事件觸發(fā)功能，滿足客戶傳統(tǒng)多系統(tǒng)之間數(shù)據(jù)傳輸觸發(fā)的需要。

• 高性能高并發(fā)的特性也很好地解決了多個業(yè)務(wù)線的大數(shù)據(jù)量任務(wù)調(diào)度需求。

此外，白鯨調(diào)度系統(tǒng)為客戶提供的整個集群環(huán)境由多個服務(wù)集群組成，解決了服務(wù)單點問題。此外，由于采用2 Master x N Worker的分布式去中心化架構(gòu)，任務(wù)容量會隨著集群增長線性增長，在保證服務(wù)穩(wěn)定可用的前提下，成功支持了客戶各個業(yè)務(wù)的不同調(diào)度需求和任務(wù)量可擴展的需求。

用戶收益

• 數(shù)百萬任務(wù)同時在線，秒級任務(wù)高達10萬并發(fā)，去中心化的多Master多Worker機制，保證了極高的穩(wěn)定性和性能，可對調(diào)用的資源進行控制和分配，利用多租戶機制，實現(xiàn)任務(wù)之間的并行度控制、資源控制、用戶資源限制等諸多功能。

• 第一期項目——統(tǒng)一調(diào)度系統(tǒng)于2022年11月已經(jīng)全棧信創(chuàng)化部署運行，為公司提供了完整的數(shù)據(jù)運營能力，包括完整的數(shù)據(jù)編排調(diào)度、批流一體數(shù)據(jù)集成、數(shù)據(jù)開發(fā)IDE、統(tǒng)一數(shù)據(jù)服務(wù)和數(shù)據(jù)治理功能，配合多樣化的技術(shù)套件，可以在實現(xiàn)統(tǒng)一的數(shù)據(jù)開發(fā)平臺、統(tǒng)一的編排調(diào)度、統(tǒng)一的數(shù)據(jù)資產(chǎn)運營的同時，更好地完成離線批處理、實時流處理等任務(wù)，有效降低用戶數(shù)據(jù)加工處理的成本，提升數(shù)據(jù)服務(wù)能力，真正實現(xiàn)精益、敏捷的數(shù)據(jù)運營。

• 基于有效的數(shù)據(jù)開發(fā)能力，數(shù)據(jù)富能力和數(shù)據(jù)資產(chǎn)化能力，結(jié)合智能營銷、智能資訊、數(shù)據(jù)可視化、賬戶分析等場景，客戶的DataOps平臺可為各管理部門提供有效、及時的數(shù)據(jù)服務(wù)，其數(shù)據(jù)成果通過被業(yè)務(wù)分析人員、數(shù)據(jù)科學(xué)家、模型設(shè)計人員、開發(fā)人員等角色自助使用，可以高效支撐業(yè)務(wù)運營、科技開發(fā)，同時運營結(jié)果和科技開發(fā)反向指導(dǎo)數(shù)據(jù)管理工作，實現(xiàn)數(shù)據(jù)運營與管理的協(xié)同。

• 實現(xiàn)了客戶各業(yè)務(wù)部門任務(wù)處理，每天完成約8千個工作流作業(yè)，在后續(xù)不斷接入新系統(tǒng)后，目標(biāo)是完成日工作流10萬，任務(wù)量50W。

• 對接公司統(tǒng)一權(quán)限管理、審計、監(jiān)控、告警等系統(tǒng)，極大提升了公司運營效率。

客戶簡介

該券商是經(jīng)中國證監(jiān)會批準(zhǔn)設(shè)立的全國性大型綜合證券公司，公司在全國30個省、自治區(qū)和直轄市設(shè)有數(shù)百家分支機構(gòu)，擁有數(shù)家全資子公司。自成立以來，客戶各項業(yè)務(wù)快速發(fā)展，在企業(yè)融資、收購兼并、證券經(jīng)紀(jì)、證券金融、固定收益、資產(chǎn)管理、股票及衍生品交易等領(lǐng)域形成了自身特色和核心業(yè)務(wù)優(yōu)勢，并搭建了研究咨詢、信息技術(shù)、運營管理、風(fēng)險管理、合規(guī)管理等專業(yè)高效的業(yè)務(wù)支持體系。

關(guān)于白鯨開源

白鯨開源科技是一家由多名 Apache Software Foundation Member, Apache DolphinScheduler 和 Apache SeaTunnel 核心成員組建的公司。我們致力于打造下一代云原生 DataOps 平臺，助力企業(yè)在大數(shù)據(jù)和云時代，智能化地完成海量數(shù)據(jù)的處理、調(diào)度和治理，以提高企業(yè)解決數(shù)據(jù)問題的效率，提升企業(yè)分析洞察能力和決策能力。目前，白鯨開源已獲得數(shù)千萬融資。

 

關(guān)鍵詞：