金融行業(yè)解決方案
Financial Services Solutions如今,數(shù)據(jù)已經(jīng)成為非常重要的資產(chǎn)。以前人們還只是把它看做是一種附屬物,客戶來辦理業(yè)務(wù),在系統(tǒng)中產(chǎn)生了這種附屬物。而現(xiàn)在,發(fā)現(xiàn)在客戶辦理業(yè)務(wù)這條信息中,蘊(yùn)含著一些客戶的需求,成千上萬條這類信息累積下來,就能洞察客戶需求,而設(shè)計(jì)新產(chǎn)品,為客戶個(gè)性化營(yíng)銷產(chǎn)生新的價(jià)值。數(shù)據(jù)變成一種資產(chǎn)了,還需要被管理起來。擁有數(shù)據(jù)的規(guī)模、靈活性,以及收集、運(yùn)用數(shù)據(jù)的能力,將決定企業(yè)的核心競(jìng)爭(zhēng)力。掌控?cái)?shù)據(jù)就可以深入洞察市場(chǎng),從而做出快速而精準(zhǔn)的應(yīng)對(duì)策略,這意味著巨大的投資回報(bào)。因此企業(yè)的IT部門將從“成本中心”轉(zhuǎn)變?yōu)椤袄麧?rùn)中心”。而數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)。
企業(yè)戰(zhàn)略將從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動(dòng)”。數(shù)據(jù)化決策是企業(yè)未來發(fā)展方向。過去很多企業(yè)對(duì)自身經(jīng)營(yíng)發(fā)展的分析只停留在數(shù)據(jù)和信息的簡(jiǎn)單匯總層面,缺乏對(duì)客戶、業(yè)務(wù)、營(yíng)銷、競(jìng)爭(zhēng)等方面的深入分析。如果決策者只憑主觀與經(jīng)驗(yàn)對(duì)市場(chǎng)進(jìn)行評(píng)估而制定決策,將導(dǎo)致戰(zhàn)略定位不準(zhǔn),存在很大風(fēng)險(xiǎn)。在大數(shù)據(jù)時(shí)代,企業(yè)通過收集、分析企業(yè)內(nèi)部和外部的數(shù)據(jù),獲取有價(jià)值的信息。通過挖掘這些信息,企業(yè)可以預(yù)測(cè)市場(chǎng)需求,進(jìn)行智能化決策分析,從而制定更加行之有效的戰(zhàn)略。
大數(shù)據(jù)最至關(guān)重要的方面,就是它會(huì)直接影響企業(yè)怎樣做決策、誰來做決策。在今天的整個(gè)商業(yè)世界中,人們?nèi)匀桓嘁蕾噦€(gè)人經(jīng)驗(yàn)和直覺做決策,而不是基于數(shù)據(jù)。在信息有限、獲取成本高昂,而且沒有被數(shù)字化的時(shí)代,讓身居高位的人做決策是情有可原的,但是大數(shù)據(jù)時(shí)代就要讓數(shù)據(jù)說話。
面對(duì)大數(shù)據(jù)的挑戰(zhàn),戰(zhàn)略層面上,金融企業(yè)應(yīng)當(dāng)建立“數(shù)據(jù)驅(qū)動(dòng)型”發(fā)展模式,完善數(shù)據(jù)運(yùn)營(yíng)體系,落實(shí)大數(shù)據(jù)運(yùn)營(yíng)中心。戰(zhàn)術(shù)層面上通過運(yùn)營(yíng)優(yōu)化,管理提升,風(fēng)險(xiǎn)控制等應(yīng)用全面提升金融核心價(jià)值和競(jìng)爭(zhēng)力。
圖2:銀行大數(shù)據(jù)運(yùn)營(yíng)中心建設(shè)架構(gòu)圖
銀行大數(shù)據(jù)運(yùn)營(yíng)中心建設(shè)的當(dāng)務(wù)之急應(yīng)該圍繞運(yùn)營(yíng)優(yōu)化、管理提升、風(fēng)險(xiǎn)控制三大建設(shè)目標(biāo),主要體現(xiàn)為:
1、以用戶數(shù)據(jù)為核心的運(yùn)營(yíng)優(yōu)化,通過客戶畫像、精準(zhǔn)營(yíng)銷、產(chǎn)品優(yōu)化、輿情分析、市場(chǎng)和渠道分析,全面提高運(yùn)營(yíng)效率。
2、以投入產(chǎn)出與價(jià)值貢獻(xiàn)為導(dǎo)向的管理提升,通過績(jī)效考核、領(lǐng)導(dǎo)駕駛艙、管理會(huì)計(jì)平臺(tái)等應(yīng)用真正實(shí)現(xiàn)精細(xì)化管理。
3、利用多維度的安全判斷和更細(xì)粒度的建模及預(yù)判實(shí)現(xiàn)中小企業(yè)貨款評(píng)估、實(shí)時(shí)欺詐交易分析、反洗錢業(yè)務(wù)分析等應(yīng)用加強(qiáng)對(duì)商業(yè)銀行風(fēng)險(xiǎn)的識(shí)別、評(píng)價(jià)和預(yù)答,有效防范金融風(fēng)險(xiǎn)。
圖3:永洪科技MPP數(shù)據(jù)集市架構(gòu)圖
從數(shù)據(jù)源到最終展現(xiàn)分成如下幾層:
1、ETL層:采用PC server作為ETL前置機(jī).將數(shù)據(jù)清洗、轉(zhuǎn)換、裝載。
2、離線分析計(jì)算平臺(tái):采用Hadoop分布式存儲(chǔ)。支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)并且當(dāng)數(shù)據(jù)量增大時(shí)方便橫向擴(kuò)展(Scale-out)??蓪⒋鎯?chǔ)層的數(shù)據(jù)進(jìn)行加工。根據(jù)分析需要,可進(jìn)行數(shù)據(jù)模型計(jì)算,挖掘分析等時(shí)效性低的大規(guī)模批量計(jì)算任務(wù)。
3、實(shí)時(shí)在線分析平臺(tái):采用永洪高性能MPP數(shù)據(jù)集市作為介質(zhì)。MPP分布式的數(shù)據(jù)集市支持高并發(fā)和高可用,每個(gè)數(shù)據(jù)集市是基于一個(gè)主題做好輕量建模的細(xì)節(jié)數(shù)據(jù),數(shù)據(jù)被分布式存儲(chǔ)在每個(gè)節(jié)點(diǎn)上,同時(shí)又做好了備份。數(shù)據(jù)按照列存儲(chǔ)的方式,被高效壓縮,打好標(biāo)簽,存儲(chǔ)在磁盤中。當(dāng)需要查詢計(jì)算時(shí),采用內(nèi)存計(jì)算來進(jìn)行數(shù)據(jù)計(jì)算,并且每臺(tái)機(jī)器節(jié)點(diǎn)會(huì)同時(shí)計(jì)算,最終會(huì)將結(jié)果送應(yīng)用層做展現(xiàn)。
4、應(yīng)用層:利用永洪敏捷BI提供自服務(wù)分析工具,對(duì)離線和在線分析平臺(tái)中的數(shù)據(jù)進(jìn)行自服務(wù)可視化展現(xiàn)。無論是終端用戶還是IT開發(fā)人員都可以通過主流瀏覽器來訪問BI系統(tǒng),用戶還可通過移動(dòng)終端來訪問系統(tǒng)。BI系統(tǒng)提供系統(tǒng)監(jiān)控,權(quán)限多級(jí)管理,多維數(shù)據(jù)分析等等功能,還支持自服務(wù)式報(bào)表設(shè)計(jì)和數(shù)據(jù)分析。
1、高性價(jià)比,低TCO
整個(gè)系統(tǒng)架構(gòu),摒棄了傳統(tǒng)系統(tǒng)常見的向上升級(jí)(Scale-Up)的思想,不管是數(shù)據(jù)集市還是BI前端,都支持橫向升級(jí)(Scale-Out)。隨著企業(yè)的業(yè)務(wù)增長(zhǎng),數(shù)據(jù)分析需求都會(huì)大幅增長(zhǎng),基于X86 PC Server集群的平臺(tái)架構(gòu)十分關(guān)鍵。在這種架構(gòu)下,我們不用采購昂貴的小型機(jī)去支撐高并發(fā),去支撐海量數(shù)據(jù)計(jì)算,去支撐數(shù)據(jù)分析業(yè)務(wù)的發(fā)展,而是采購多臺(tái)普通的PC Server搭建集群,建設(shè)高性價(jià)比的分析平臺(tái)。
2、敏捷:快速發(fā)布,持續(xù)迭代,擁抱變化
數(shù)據(jù)層敏捷:數(shù)據(jù)層無需做數(shù)據(jù)的預(yù)先匯總計(jì)算。傳統(tǒng)的架構(gòu)需要將數(shù)據(jù)提前按照能考慮到的所有維度的組合,以及所需的指標(biāo)進(jìn)行匯總,或者通過打Cube的方式預(yù)先計(jì)算好。但敏捷BI的方式是:只將數(shù)據(jù)關(guān)聯(lián)做好,導(dǎo)入的數(shù)據(jù)還是細(xì)節(jié)數(shù)據(jù),所有的計(jì)算都是在用戶點(diǎn)擊時(shí)發(fā)起實(shí)時(shí)計(jì)算。因此,數(shù)據(jù)層只需再建立一個(gè)輕量模型,導(dǎo)入新需求的細(xì)節(jié)數(shù)據(jù)即可。
應(yīng)用層敏捷:采用靈活的ROLAP機(jī)制,每個(gè)點(diǎn)擊發(fā)起的需求都會(huì)實(shí)時(shí)拼出SQL,送給計(jì)算層去計(jì)算,比較容易適應(yīng)業(yè)務(wù)變化。模塊層次少,建模完就可以直接設(shè)計(jì)報(bào)表和Dashboard,或進(jìn)行探索式分析。因此對(duì)于終端用戶來說也簡(jiǎn)單易用。
3、自服務(wù)式和探索式多維分析
基于主題的集市,已經(jīng)將物理表結(jié)構(gòu)在語義上轉(zhuǎn)義成便于理解的邏輯結(jié)構(gòu),終端用戶通過拖拉拽的方式可以輕松自定義報(bào)表或儀表盤。
前端系統(tǒng)的交互和分析能力:過濾、鉆取、縮放、關(guān)聯(lián)、變換、動(dòng)態(tài)計(jì)算、鏈接等等。用戶通過發(fā)現(xiàn)問題,找到答案,做出商業(yè)決定,形成探索式的分析。
3、高可用性
離線分析平臺(tái)和在線分析平臺(tái)都是分布式架構(gòu)。數(shù)據(jù)存儲(chǔ)是分布式的,數(shù)據(jù)的計(jì)算也是分布式的,還帶有備份機(jī)制和監(jiān)控機(jī)制。當(dāng)某一臺(tái)機(jī)器宕機(jī),其他機(jī)器會(huì)自動(dòng)承擔(dān)所有計(jì)算。該分析計(jì)算平臺(tái)應(yīng)用廣泛,有的電信級(jí)客戶的數(shù)據(jù)量已經(jīng)達(dá)到了上百T,依舊運(yùn)行穩(wěn)定可靠。該分布式數(shù)據(jù)集市支持對(duì)計(jì)算和存儲(chǔ)節(jié)點(diǎn)進(jìn)行熱插拔擴(kuò)展??梢詮囊粋€(gè)節(jié)點(diǎn)擴(kuò)展到幾十個(gè)甚至上百個(gè)節(jié)點(diǎn)。
4、高并發(fā)性
在線分析平臺(tái)支持高并發(fā)。數(shù)據(jù)集市作為計(jì)算層,支持分布式計(jì)算,采用MapReduce架構(gòu)來提高計(jì)算效率。BI前端可直接連Oracle或Hadoop,但是不建議采用Oracle或Hadoop來支撐高并發(fā)的OLAP系統(tǒng)。因?yàn)?,Oracle是行式存儲(chǔ)的,在OLTP系統(tǒng)能支持好高并發(fā),但支持不好高并發(fā)的OLAP系統(tǒng);而Hadoop系統(tǒng)作為高性價(jià)比的倉儲(chǔ)系統(tǒng),也不適合于做實(shí)時(shí)分析系統(tǒng)。永洪科技的分布式數(shù)據(jù)集市,是列式存儲(chǔ)的,采用良好的內(nèi)存計(jì)算技術(shù)。可基于多臺(tái)存儲(chǔ)和計(jì)算節(jié)點(diǎn)并行工作。非常適合海量數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)分析。
行業(yè)相關(guān)案例
通過搭建分布式數(shù)據(jù)集市來提速,讓報(bào)表的晌應(yīng)速度提升到10秒以內(nèi),比以往快了500-600倍。只需點(diǎn)擊拖曳幾下分析指標(biāo),系統(tǒng)就自動(dòng)生成了所需報(bào)表。......
公司強(qiáng)調(diào)更短的IT周期、更多的業(yè)務(wù)自主使用。從“業(yè)務(wù)談需求、IT開發(fā)程序、業(yè)務(wù)分析固化數(shù)據(jù)”向“業(yè)務(wù)談想法,IT準(zhǔn)備數(shù)據(jù),業(yè)務(wù)自主靈活分析”的方向轉(zhuǎn)變。......
覆蓋大部分報(bào)表應(yīng)用、大屏展示,快速展現(xiàn)數(shù)據(jù)變化和數(shù)據(jù)之間的關(guān)聯(lián),是實(shí)現(xiàn)穿透式管理的重要手段。秒級(jí)數(shù)據(jù)查詢響應(yīng)海量數(shù)據(jù)分析,助力實(shí)現(xiàn)復(fù)雜的分析場(chǎng)景。......
永洪科技
致力于打造全球領(lǐng)先的數(shù)據(jù)技術(shù)廠商