中国知网查重 高校在线论文查重入口

立即检测
  • 58 元/篇
    系统说明: 知网职称论文检测AMLC/SMLC是杂志社专用系统,针对投稿论文、评审论文、学校、单位职称论文的学术不端重复率检测系统。
  • 298 元/篇
    系统说明: 知网本科论文检测PMLC是最权威的大学生毕业论文检测系统,含“大学生论文联合对比库”,国内95%以上高校使用。检测结果和学校一致!
  • 498 元/篇
    系统说明: 此系统不支持验证!可用作研究生初稿检测,相比知网VIP5.3缺少“学术论文联合对比库”,检测结果有5%左右的误差!(论文中若参考往届研究生论文,重复率误差会较大)
  • 128 元/篇
    系统说明: 大分解论文检测系统,对于想检测学术不端文献检测系统,而又价格便宜的同学可以选择,限每篇2.9万字符,结果与大学生PMLC、硕博VIP定稿系统有出入!
  • 68 元/篇
    系统说明: 知网论文小分解检测系统,适合中国知网初稿查重,数据库和定稿查重不同。结果与本科PMLC,研究生VIP5.3有出入,限每篇1.4万字符!
  • 3 元/千字
    系统说明: 学术家论文重复率检测系统,支持学位论文、毕业论文、投稿论文、职称评审论文,提供全文对照,word标红报告,性价比超高!
论文方法写作-AMC公司商业智能化应用研究
时间:2021-04-21 13:27:02

  随着金融信息技术的逐步深化发展,信息技术广泛应用正在改变着支付结算、资金融通、风险管理、信息查询等金融基本功能的实现方式。基于信息技术的自动业务营运系统、全面风险管理系统、智能化决策系统正在取代传统落后的业务营运、内部风险管理、决策管理方式,大大提高了工作效率和准确性。当企业的基础信息化建设完成后,下一个动作通常就是数据化建设,而数据化的建设离不开对企业实际业务的解读和分析,也离不开对信息化落地的数据管理和数据应用。然而,很多企业虽积累了大量业务数据,但数据不能被有效识别、数据冗余存放、数据定义不一致,这些问题使得业务运营系统数据不能充分共享,数据没有产生价值,不能为企业整个战略实现进行有效的反馈,也不能为后续的部门业绩进行有效的全面评价。

  本文以AMC公司信息化建设向数据化运营、智能化决策转型为背景,对其当前

  数据应用分析体系进行调查研究。在企业信息化建设的过程中,积累了大量的内部业务营运数据和外部数据,如何利用这些数据,提炼出有价值的信息、合成新的知识、助力业务经营模式转型,是当前转型遇到最大问题。而解决问题的关键就是建立一套商业智能化的数据体系。商业智能化的实现是在企业信息化和数字化的基础上实现和完善的。在数据战略规划的宏图中,首先要实现数据标准定义、数据采集转换、应用价值分析、数据存储管理等数据建设内容的规划管理;其次,实现对应的数据仓库系统、OLAP平台、数据挖掘系统逐步完善;最后,应用智能化的数据分析体系进行深度分析和数据价值优化,将数据端和应用端有效地连接起来,实现数据共享,重构企业的发展模式。

  本文以AMC公司为例描述了企业商业智能化存在的问题,对实例做出分析结论,并提出对应解决方案,形成一套完整的应用方案,以供其他金融企业在进行商业智能化建设时提供参考和借鉴。

  1.1研究背景

  随着大数据化时代的来临和全球经济化的迅速发展,企业信息化建设、数据化运营逐步深化推进,企业数据的总量以非常惊人的速度增长,数据是企业的重要生产资料,各行业都已经清晰的意识到数据在企业经营发展中的重要作用。

  各行业产生的海量数据只有通过先进的技术手段进行存储、分析才能创造出价值。数据分析领域涵盖数据采集、数据存储、数据处理、数据分析、数据挖掘、数据可视化等等一系列的技术手段,以互联网行业、金融行业、电信行业、制造业为技术应用典范,推动更多行业应用数据分析解决方案和数据智能化产品。

  对于企业来说,随着信息化建设的逐步完善,越来越多的系统,产生大量的数据,如何从海量的、低质量的数据中提取有效的数据进行分析、应用将成为企业迫切需求。

  AMC公司成立于1999年,是经国务院批准,为有效化解金融风险、维护金融体系稳定、推动国有银行和企业改革发展而成立的金融资产管理公司。2008年以后,AMC公司开始企业信息化建设,以提升业务运营效率。目前AMC公司的IT系统与金融银行业的IT系统建设相差甚远。近期银保监《银行业金融机构数据治理指引》发文,将金融资产管理公司的数据建设提升到与银行业一个水平进行监管。无论是金融资产管理公司自身的数据化建设需要,还是迫于外部监管机构的监管压力,对企业建设数据、管理数据、使用数据已经提出了更多、更高的要求。

  如何将数据全生命周期的管理融入到企业的运营过程中,为战略决策提供量化的分析预测,为优化内部运营流程和提高效率,最终保证战略制定有效执行和评估。

  本文重点,基于传统商业智能化理论基础,提出新商业智能化+的理论框架,在此框架下,结合对AMC公司的智能化运营管理问题研究,提出与之现实需求对应的解决方案。本文期望产生的研究成果能为AMC资产管理商业智能化落地实施提供重要支持,使AMC公司的商业智能化与战略目标相一致,并辅助战略目标的执行,优化内部流程节约成本,减少投资的不确定性,降低投资风险。研究成果具有现实意义以及实用性。

  1.2研究内容

  以AMC公司的数据化运营建设中遇到的问题为研究对象。首先,根据国内外关于商业智能化建设的发展阶段和发展趋势,结合AMC公司当前智能化所处的阶段,提出当前面临商业智能化的应用框架问题。其次,结合行业特征就AMC资产公司信息化运营建设过程中数据烟囱、数据失效、数据应用、数据资产价值化管理等关键的应用实施环节进行梳理与分析。最后,形成关于商业智能化建设实现不仅仅是商业智能化技术的实现,更是智能化技术、完善流程建设、合理有效的内部管理三方面有效结合的结论。让来源于生产运营的数据,能改善运营、优化运营;让数据再其生命流程中发挥最大的价值。本文通过六个章节进行详细论述,第一章提出本论文的研究背景、研究意义、研究方法;第二章商业智能化理论和应用的文献综述;第三章关于AMC公司智能化建设现状分析和问题阐述;第四章AMC公司商业智能化建设方案规划研究;第五章AMC公司商业智能化建设方案实施评价;第六章总结本文研究成果,同时结合商业智能化发展提出展望及努力方向。

  1.3研究方法

  本文以数据仓库理论和企业管理理论为基础,以资产管理公司当前商业智能化建设为背景,主要采用以下研究方法:一、是调查研究法,通过对AMC公司的数据分析需求和系统中实际的数据收集分析,为了提高研究的可信度,对本研究涉及到的研究对象的具体工作进行观察和记录,对搜集到的数据进行了整理、分析和核对,以确保数据的可靠性为本文立论提供依据;二、通过文献分析法,通过阅读和研究文献,以商业智能理论为基础,结合当前商业智能的最新发展和应用的文献,为本论文分析、解读适合国内金融资产管理商业智能化落地提供坚实、科学的理论支撑。三、通过战略地图的理论框架和当前金融监管指标框架,形成适合资产管理公司数据建设框架和数据资产应用体系。四、通过数据管理成熟度建设评价方法,评价商业智能化落地系统实现的阶段和实施效果评价及后续优化的建议。

  文献综述

  1

  2

  2.1商业智能化理论综述

  商业智能(Business Intelligence)最早由Gartner Group的Howard Dresner[1]1989年首次提出,它描述了一系列的概念和方法,通过应用基于事实的支持系统,来辅助商业决策的制定。BI技术提供企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处[2]。

  商业智能从概念提出到技术实现,经历了一个较为渐进的、复杂的演化过程。随着数据库技术的演进和企业信息化的迭代更新。90年代初,商业智能的理论研究主要集中在数据仓库、数据模型、数据挖掘,1990年提出,数据仓库之父比尔·恩门提出数据仓库的概念被广泛接受,数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)[1]。1997年Inmon的《Corporte Information Factory》为数据仓库和数据挖掘建立了一个信息工厂的框架。2000年以后,随着商业智能应用不断深化发展,更多的研究者,从多个视角对商业智能进行了研究和解读。学术派认为商业智能是一种依据战略决策,计划、跟踪、控制、转换企业的弱信号,成为可行信息的一种战略方法[2]。企业派对商业智能的定义是一种基于海量数据的基础上,对数据的标准化处理和集成化整合过程,这个过程与知识共享和知识创造密切结合,实现了了从数据到信息,从信息到知识的转变,最终为企业提供竞争优势和丰厚的利润。

  目前,我们国内商业智能的现状,商业智能于IT厂商来说是以数据仓库技术、数据挖掘技术以及数据可视化技术为基础,以客户应用为中心的解决方案和产品应用;商业智能于企业用户来讲,不是需要一两个BI产品、一两个分析系统能解决的,而是需要企业用户站在全局的视角,从到企业战略、组织、功能、技术、业务五个层面的整体解决方案,通过这五个层面,把企业整合成一个信息工厂[2]。在商业智能的价值链中实现从数据到信息,从信息转化为辅助决策的工具,从而使企业取得竞争优势[4]。

  2.2商业智能化宏观框架

  战略地图提供了一种战略的可视化表示方法,四个层面的目标如何被集成在一起描述战略[4]。如图2-1,基于企业的战略框架下平衡计分卡如何相互关联,四个层级的指标确定了关键变量之间的因果关系,并且描述着战略的实现轨迹和有效计划。

  图2-1战略地图[4]

  基于战略地图,将数据仓库、联机分析处理和数据挖掘等技术结合起来,来构建企业的定量化指标体系。首先,需要先收集企业内部数据、外部数据,通过ETL一系列的过程处理,实现数据的预筛选、预定义、预关联、预分类、预汇总。其次,通过在线可视化分析、数据挖掘技术与基础后台数据集结合起来,分析出影响企业经营的关键因素、运营管理问题,最终辅助战略管理层、运营管理层、业务管理层进行经营决策。如图2-2,将描述如何实现从数据转换为信息的技术实现架构。

  图2-2商业智能价值链

  运用战略地图,构建各个层次平衡计分指标,在战略层,通过监控收入增长和生产等多项宏观指标,监测战略落地执行情况,通过可视化指标展现工具推送到决策管理层,辅助决策管理层的战略调整和优化[5]。在客户层,对于客户管理更多地彰显了现代企业战略的新内容,当下是一种新型的人、物互联的时代,客户是主动响应者而不是被动响应者,这样对客户的管理需要运用新的管理流程和管理模式。我们需要分别从客户的选择、获取、保留、培育等四个主要方面进行细化指标设计。在内部运营管理层,通过企业绩效管理、企业活动监控、前后台信息部门分工,实现合理的结构分布,达到管理与监控的目的[2]。为了实现各个层次的数据需求,需要通过不断的建设数据、收集数据、集成数据、分析数据、输出数据。商业智能化的落地应用建设,必须要注重宏观的数据架构规划和明确的数据应用规划,以及很好的数据标准和数据管控功能集市实现[6]。

  2.3商业智能化核心技术

  2.3.1数据仓库技术

  数据仓库是一种系统架构,是建设分析型数据平台的宏观蓝图,正如Bill Inmon总结的那样,通常具有下面4个特征:

  数据是按主题组织的,传统的OLTP[7]系统是按照业务流程组织数据,一类业务组织成一个系统。比如银行中的存贷款系统、账务核算系统,依据实现的业务功能进行规划建设。而在企业级数据仓库平台中,数据是按照主题组织的,一个主题对应一个宏观分析领域,其数据可以跨多个业务,按主题组织数据有利于企业的决策分析。通常金融类企业主题定义主要有客户、协议、事件、产品、营销主题。

  数据是集成的,不同来源的数据必须转换为相同的数据格式、度量、单位、存储方式。数据集成的前提是对数据进行标准化的定义,逻辑语义定义和物理命名标准定义。标准化定义目的是为了更好的识别数据和管理数据。数据集成有两种方法,一种是纵向的分类合并,一种是横向的替换覆盖合并。不同的方法使用不同的业务场景。

  数据是稳定的,一是指承载数据的数据结构相对稳定,通常这样的表会依据第三范式[8](3NF)的形式构建。二是指数据值相对稳定,除非载入错误的源数据,否则,数据一旦加载进入数据仓库平台,其值是不会变的。

  数据是保留历史的,数据仓库将源业务系统的数据通过一定的加载算法,保留源业务系统的全量快照、增量快照结果。保留历史的主要意义,依据历史数据可以进行业务回溯查看比较以及依据过去的结果值进行新一年的规划值设定。

  企业基础数据分析平台的建设中,数据仓库平台的建设是最核心,也是最复杂的平台。复杂是因为这个平台将汇聚企业全域的业务数据,核心是因为这个平台将呈现标准化的定义的数据、支持多样化的全企业业务分析需求。因此,数据仓库平台不是一个项目实现,必然经历一个渐进循环、不断优化完善的建设历程。一般的数据仓库平台的实现过程主要包含一下四个阶段:

  业务探索[9],是数据仓库建设周期的出发点,也是数据仓库规划阶段的首要工作。业务探索的目的是要了解、分析和确定数据仓库建设能帮助客户解决什么关键业务问题。为此,数据仓库建设顾问,首先需要了解客户需求,对相关业务部门进行调研和访谈,收集和整理业务需求和业务问题,其次,依据需求,了解业务数据,与业务方共同探讨用户分析的数据该如何组织和管理,才能满足企业的决策分析的业务应用。

  信息调研,与业务探索共同开展的工作,信息调研重点关注的是数据,这些数据在哪里,数据如何存储,数据粒度、更新频率、数据量、数据存储周期、数据数据质量等等。信息调研更关注企业每个业务系统的功能以及跨系统间的关系,数据如何进行传递。以银行系统为例,信贷系统是如何传送数据给账务核算系统,交互内容的粒度、属性、属性值等等。

  数据建模[10],是数据仓库建设中的一项非常重要的工作。它是企业数据组织的框架图,是业务人员和技术人员沟通的桥梁。数据模型可以分为概念模型[11]、逻辑模型、物理模型。概念模型是企业商业模式的抽象,以商业模式中关注对象做为概念抽象的依据,以关注的对象划分主题域,而且每个主题域下都有一个同名的主实体。逻辑模型[10]是代表“信息原子”,可以被共享,并自由组织,从而形成各种各样的语义模型,在进入详细设计阶段,主要工作是依据信息调研的结果和概念模型,进行各个主题域下实体构建、实体关系映射以及属性的定义。物理模型[10]是可以用DDL描述的,在某个数据库上的物理实现。进入开发实施阶段,依照逻辑模型进行物理模型映射构建,物理模型会依照不同的数据库类型对逻辑模型物理化拆解、设置。

  数据仓库作为企业决策过程的信息基础,能非常好的满足企业基本信息需求,但是,在现在这个数据爆炸式增长的时代,如何在数据的海洋中,识别出有用的数据,显然仅有数据仓库技术是不够的,需要利用数据挖掘技术[12]从现有数据中发现数据关联关系和隐含规则,从而获取有用的信息,为企业经营管理决策,市场营销策划、企业风险预测识别等等方面提供依据。

  2.3.2数据挖掘技术

  数据挖掘[13]是一种深层次的数据分析方法,主要特点是通过数据进行抽取、转换、分析和模型化处理,提取商业决策的关键性信息。数据挖掘的几个核心阶段,主要有定义问题、抽样数据、数据分析、构建模型、模型验证、模型检测等等,这些阶段需要按顺序完成,部分阶段需要反复循环进行,过程细节如下2-3图:

  图2-3数据挖掘流程图

  (1)业务分析:数据挖掘首要的是明确业务需求,通过业务场景预设,来定义预测变量和响应变量,并确认变量间的关系。

  (2)数据抽样:这一阶段,建模小组要寻找相关的数据来源,确认可用的数据表、数据表的关系、数据抽样的规则等,设定分析实体、属性、处理规则清单。

  (3)数据分析:在数据抽样的基础上,进一步进行数据的规范化、数据转换,整合,其目的是确认预测变量和相应变量之间的关系。

  (4)构建模型:构建模型通常选定建模技术和数据集,依据模型的性能,选出最好的,但模型的输出结果,需要业务专家和模型专家共同检验分析和评价,后将构建的模型落地实施。

  (5)模型验证:利于验证数据集验证已建立的模型结果准确性有差异,需要重复的3,4步骤,有的时候,需要重新2,3,4步骤。

  2.3.3数据可视化技术

  数据可视化[14]是借助图形图像化技术手段,以数据项作为图元元素表示,从不同的视角查阅数据,进而对数据进行深入的分析和探索。数据可视化技术,包含了几个基本概念:

  (1)数据空间:由X个属性和Y个元素组成的数据集合构成多维数据空间;

  (2)数据计算:指利用已知算法和工具对数据进行计算和定量推演;

  (3)数据分析:指对数据进行切块、切片、上转、下取等手段深入的发现数据和解析数据;

  (4)可视化技术:依据可视化原理不同,可以分为基于图像的技术、基于像素技术、基于几何的技术等等;

  一直以来,数据可视化的概念就在不断的演变,概念的边界在不断的扩大;目前国外的分析技术相对成熟,可以利于可视化工具进行探索性数据和定性数据分析,对诸如照片、观察结果等非数值型数据进行分析。而国内的可视化应用更多的基于结构化数据,也就是依据后台数据库中已经加工好的数据,进行过滤、汇总、钻取、联动、跳转等动态分析。因而不同的应用场景,在不同的场合,对数据可视化赋予了不同的内涵。

  2.4商业智能化价值应用

  2.4.1平衡计分卡在商业智能中分析应用

  目前非常流行的商业智能应用分析解决方案是平衡计分卡[15](BSC,Balance Score Card)加关键绩效指标(KPI[16],Key Performance Indicator),通过BSC指标将细分到各个层面,运用KPI方式,全面地展现企业的绩效考核指标和考核标准。基于企业经营不同层级的考核需求,通常我们从四个方面进行,财务绩效、客户绩效、流程管理、员工等4个方面,并从企业全局视角、业务部门及个体员工等不同级别由上而下划分不同等级指标。按照这种思路对KPI进行设计,可以更好的提供信息辅助决策,图2-4是金融行业基于BSC设计的通用KPI指标应用场景。

  图2-4金融行业KPI分析框架

  企业各个层级的KPI指标建立尽可能综合地评估企业整体经营情况,对于各个层级的指标定义,需要参照行业通用惯例和标准对各项指标进行定义。通常关键指标可以通过时间、机构、客户、产品、协议等多个维度让数据使用方探测指标的历史值、当前值以及预测值,对于异动指标给出预警,在较短的时间内提醒相关人员关注。

  KPI所具备的特点,决定了KPI在组织中的重要意义。首先,作为公司战略目标的分解,KPI的制定推动了公司战略在各个部门得以执行,其次,KPI让上下级对工作职责和关键绩效有了明确的共识[16];再次,KPI为绩效管理提供透明、客观、可衡量的基础;最后,定期检验和回顾KPI执行结果,管理者能更清晰了解经营领域中的关键参数,并及时诊断问题,积极主动采取行动并加以调整。

  2.4.2知识图谱在商业智能中分析应用

  知识图谱是人工智能技术的一个分支,对可解释人工智能具有重要作用。随着计算机技术、数据库技术、数据挖掘技术、数据可视化技术、知识服务基础等技术的快速发展。知识图谱在商业智能决策、智能推荐、风险识别预警等方面应用中起到重要作用。知识图谱把复杂的信息通过数据挖掘、信息处理、知识计量和图形绘制技术把知识显示出来,揭示数据、业务的动态发展规律,为数据应用价值研究提供切实的、有价值的参考。到目前为止,知识图谱的相关应用在发达国家逐步发展且取得较好的效果,但在我国仍属研究的起步阶段。

  图2-5知识图谱技术

  如图2-5所示知识图谱是以信息系统为基础。从技术维度上看,知识图谱的构建及知识表示[17]、知识抽取[18]、图数据存储[19]、知识融合[20]、推理补全[20]等多方面的技术,需要利用好这些技术,而非单个领域的单个技术,融合更多的技术,才能构建好的知识图谱。因此,知识图谱的构建和利用是未来的一种发展趋势。从数据维度上看,知识图谱要求更新规范的语义提升企业数据质量,用链接数据的思想提升企业数据资产的关联度,终极目标是实现数据资产的价值化[19]。

  金融领域知识图谱能在多个智能分析应用场景中应用,诸如智能投资顾问、智能舆情监控、智能关系识别、智能风险管理等应用场景。虽然我国金融企业经历了近十年的信息化、数字化建设,也已经存储了大量的源数据以及经过加工、处理、整合的高质量结构化数据,但在知识图谱的应用还处于起步阶段。如果能基于知识图谱的应用技术,并结合已有数据、领域知识的前提下,可以实现更多的数据价值应用。诸如A大型国有银行应用知识图谱,从海量的内部结构化数据和外部非结构化数据中识别实体,构建实体信息,如机构、产品、渠道、事件等;构建实体间各种关系,如担保关系、股权关系、伦理关系、地域关系等。再基于专家知识库构建领域知识库,后通过机器学习训练数据,最后生成知识图谱[21]。通过知识图谱生成的业务关注内容关系图,诸如,使用知识图谱生成金融企业关注的企业客户股权关系图谱,当一个子公司出现信用风险问题,也就是核心节点出现信用风险时,能很快的对其他的关联节点进行监控,并采取更加积极的应对措施。

  2.5商业智能化成熟度评价

  2.5.1数据管理能力成熟度评估模型

  数据管理能力成熟度评估模型[22](data management capability assessment model,DCAM),由企业数据管理协会主导,组织清华大学、北京大学、中国人民大学、中国建设银行、中国光大银行、阿里云计算有限公司等多家事业单位和优秀企业参与编制和验证,基于众多实际案例的经验总结来进行编写的,由国家标准化管理委员会于2018年3月15日正式发布。DCAM首先定义了数据能力成熟度评估涉及的能力范围和评估的准则,然后从战略、组织、技术和操作的最佳实践等方面描述了如何成功地进行数据管理。同时,结合数据的业务价值和数据操作的实际情况定义数据管理的原则。

  在DCAM中,主要分为以下8个数据管理能力域,每个能力域包含29个能力项。职能域数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生命周期。数据管理域和数据能力项对应关系如图2-6

  图2-6数据能力域定义[22]。

  数据管理能力成熟度评价划分为5个等级,包括:初始级、受管理级、稳健级、量化管理级和优化级。在此基础上,确定每个层次的基本特征如图2-6。

  等级一:初始级,组织没有意识到数据的重要性,数据需求的管理主要是在项目级来体现,没有统一的数据管理流程,存在大量的数据孤岛,经常由于数据的问题导致低下的客户服务质量、繁重的人工维护工作等。

  等级二:受管理级,组织已经意识到数据是资产,根据管理策略的要求制定了管理流程,指定了相关人员进行初步的管理,并且识别了与数据管理、应用相关的干系人。

  等级三:稳健级,数据已经被当作实现组织绩效目标的重要资产,在组织层面制定了系列的标准化管理流程以促进数据管理的规范化,数据的管理者可以快速地满足跨多个业务系统、准确、一致的数据要求,有详细的数据需求响应处理规范、流程。

  等级四:量化管理级,数据被认为是获取竞争优势的重要资源,组织认识到数据在流程优化、工作效率提升等方面的作用,针对数据管理方面的流程进行全面的优化,针对数据管理的岗位进行关键绩效指标(key performance indicator,KPI)的考核,规范和加强数据相关的管理工作,并且根据过程的监控和分析对整体的数据管理制度和流程进行优化。

  等级五:优化级,数据被认为是组织生存的基础,相关管理流程能够实时优化,能够在行业内进行最佳实践的分享。

  图2-7数据能力成熟度等级定义[22]。

  2.5.2数据管理能力成熟度评估目的

  应用数据管理能力成熟度模型评价商业智能化建设,是数据管理和应用的基础,将在行业里起到很大的作用。

  (1)推进商业智能化规划和落地发展现状有效评估

  通过对企业各部门数据建设、数据使用应用情况收集汇总,可以掌握数据化建设和数据价值应用的现状,以及存在的数据建设和应用问题,优化数据资源整合,进行针对性的系统建设调整和落地实施情况评价。

  (2)提高数据建设意识,培养数据分析人才

  数据产业的发展是技术驱动式的,对人员的技能和素质有很高的要求,通过DCMM的评估,可以对企业的数据从业人员进行培训,提升数据管理和应用的技能,理清数据管理、应用建设的思路和框架,规范和指导相关工作的开展,进而从整体上促进企业商业智能化的整体发展[22]。

  (3)持续提升数据服务能力,规范数据分析应用发展

  数据分析行业是相对较新的行业,理论和知识都处于发展阶段,特别是数据管理和应用的知识体系。通过DCMM的评估,可以规范和指导数据分析业务可持续发展,提升从业人员数据资产意识,提升数据技能,推广和传播数据管理最佳实践,从而促进整体企业的发展[22]。

  AMC公司智能化建设现状及问题分析

  3

  3.1AMC公司简介

  AMC公司成立于1999年,是经国务院批准,为推进四大国有银行改革而成立的股份有限公司。公司主要业务包括不良资产经营业务、投资及资产管理业务和金融服务业务,其中不良资产经营是AMC公司核心业务[23]。AMC公司在中国内地的30个省、自治区、直辖市设有33家分公司,在内地和香港拥有多家从事不良资产经营、资产管理和金融服务业务子公司。AMC公司作为资产管理公司中的佼佼者,在公司治理和经营管理方面一直走在国内金融同业的前列。

  AMC公司转型改制以来,公司发展成为以资产管理为主的金融服务集团。拥有债权资产、权益资产和其他资产管理的整体金融解决方案和差异化资产管理服务能力。经过多年的业务探索,业务规模不断扩大,金融服务能力不断提高,始终保持同行业领先地位。

  近年来,日益严格的资本管制、逐步深化的利率市场化改革、不断加深的金融监管要求和愈来愈激烈的同业竞争,迫切需要在业务创新、内部管理、风险控制、市场营销等方面提升水平,需要数据分析系统提供客观的、及时的、准确的业务数据分析结果,以便管理部门做出敏捷而科学的商业决策[24]。

  3.2AMC公司商业智能化现状

  从2015年开始,AMC公司对业务支撑系统和数据分析系统重新进行宏观规划和落地实施,并逐步推进建设数据和管理数据项目实施,2016年实现客户主数据[25]的建设,基于客户有效识别信息,生成全域客户唯一键;2017年完成内部机构主数据建设,对分公司和子公司生成全集团的唯一键。2017年整合项目主数据的建设,实现经营类项目、投资类项目、融资类项目的项目生命周期管理。AMC公司已经走在从信息化建设到数据化运营、智能化决策的转型之路。下一步将聚焦提高数据资产化管理运营、提高数据资产业务运营创新的服务能力、优化数据价值化评估。当前,我们需要对建设现状进行全面的分析,在分析整个转型之路上的价值实现。接下来看一下AMC公司数据分析平台建设和数据应用情况的概况。

  3.2.1数据分析平台架构

  业务系统改造前,核心业务运营的系统集中在业务核心系统、账务核心系统,随着业务模式的不断变更以及企业数据分析需求增多,对业务核心系统和账务核心系统进行重新定位,后按功能模块进行剥离重建。目前,重建后并正在运行的业务运营系统有40多个,重建后的分析平台有3个。AMC公司数据分析平台的逻辑架构如图3-1。

  图3-1数据平台逻辑架构

  AMC公司基本实现业务系统主机集中,但数据分析系统建设方面一直处于被动的局面,为满足外部监管机构和业务部门迫切的数据分析需求,已经建立了多个数据分析应用,AMC公司的数据应用主要以支持数据监管报送和内部日常数据分析。从数据源端到数据应用端,每个数据平台都可以通过对源系统数据表,以直连方式获取数据,获取到的数据通过各自部门的业务需求进行加工处理。

  通过业务调研,梳理AMC公司信息数据管理和项目实施相关的制度、流程和组织,并在此基础上对数据抽取迁移、数据存储模型、数据管理发布和数据分析应用等几个方面分析。分析结果显示,AMC公司基础数据平台建设与目前金融同业商业智能化建设有较大差异,尤其是国有大行之间存在的较大差距。

  3.2.2数据分析应用现状

  AMC公司构建了的内部经营分析平台,实现了底层数据可视化展现。当前数据仪表盘可以展现的指标有收购的债权资产总量,资产余额总值、累计处置资产金额、回收现金累计额以及当年的新增的累计值等。数据仪表盘或报表分析可以展现宏观数据或者趋势数据,也一定程度上帮助管理者做出科学决策,也可以通过指标的下钻分析,快速定位指标异常波动问题分析。

  虽然AMC公司将各个部门建设的应用统一到PORTAL界面展示。但底层的数据源和数据加工还是独立处理的,如图3-1数据分析总体逻辑架构中我们可以看到,应用指标的建设也是自成体系。AMC公司现行的数据管理基本上还是“部门分工负责,纵向独立运作”的模式。这是一种缺乏统一标准、统一平台和统一管理的、较为松散、不严谨、不完整的数据管理体系。

  参照数据管理能力成熟度评估模型[8],对数据应用能力域下数据分析、数据共享、数据服务项数据能力项评定,依据能力项的特征说明,目前数据应用能力域下的三个数据能力项均属于第二级受管理级。

  商业智能化数据应用价值实现,需要持续推进从数据到知识、从知识到智能决策、从智能决策到利润增值的转化进程,进而使企业获取竞争优势。通过对AMC公司商业智能化建设现状进行调研与梳理,主要目的是为了充分了解企业数据产生、数据分析、数据管控系统建设现状,依据企业商业智能化建设阶段以及未来的愿景规划,提出当前亟需解决的主要问题。

  3.3AMC公司商业智能化问题论述

  在AMC公司信息化建设过程中,随着业务模式的不断变化,数据应用技术的迭代发展,当前的商业智能化数据架构体系和数据应用有些滞后未能满足现有以及未来的商业智能化需求。当前智能化数据建设问题很多,诸如企业的数据价值管理政策的定位不清晰,没有成体系的数据管控机制,难以有效支持企业业务战略的需求;数据标准建立和实施的方法、规范还没有形成,造成数据管控的流程、落地没有清晰的方法来遵循;数据分析应用由各自部门和业务系统承建,没有实现有效的业务定位和系统定位,缺乏有效的整合和规划,无法形成企业数据分析的应用架构和全域统一数据分析视图。基于AMC公司当前数据建设阶段和通过数据成熟度模型进行评估,当前建设阶段亟待解决的商业智能化基础平台建设问题和数据化服务应用问题。

  3.3.1数据分析体系缺乏架构规划

  AMC公司10多年的业务数据分散在各业务系统,未能统一管理起来。业务部门依据各自的需求分散式建立分析应用,导致的存储资源浪费,处理效率下降。通过以下三个方面详细描述数据分析架构规划问题。

  (1)数据架构整体规划问题

  如图3-1数据平台逻辑架构中,所有应用集市都从进行不同功能应用分析实现,且每一个集市都有自己的数据架构,在数据架构的划分上比较雷同,形成这样的架构主要原因是每个部门依需自建,没有形成企业级数据架构规划。基于这样的分散的、部门级的建设需求,将会导致在源接口层,平台汇总层,应用接口层都存在大量的明细数据和汇总数据的冗余,这种冗余不仅仅是存储的冗余,也是计算能力、运维能力的冗余运行。在整体架构管理、系统运维、程序开发、时效性方面都会存在问题。比如监管报送指标计算用到最明细的不良借据协议明细数据,在经营分析平台资产现状风险指标也用到这个数据,且这个表的数据量又非常大,每天对这样的大表进行全量数据采集,规则重复计算、程序重复运维。不仅是存储成本、时间成本的浪费,同时出现了由于不同系统的运维能力差异,导致后续应用方面的诸多统计值差异、应用指标难以在企业内部有效推广。

  (2)数据分析平台设计问题

  在几个数据分析平台建设时,只考虑了部门报表应用需求,相关集市在建设的时候都以部门视角建设,没有以企业的视角进行相关系统规划。没有存储历史数据、没有相应的企业视角的主题规划,没有对应的业务共性属性加工。这些平台实现的问题,会带来没有历史可进行比较追溯,一些风险类的基于历史数据进行推演计算的应用无法支持;由于没有建立面向主题域的公共标准层和业务共性的通用模块层,因此当遇到核心业务系统的改造更新时,这些分析系统相当于对业务应用又一次的大规模重构,耗时耗力又不能保障应用指标的准确性,新的应用改造使企业付出更大的时间成本和经济成本。

  (3)数据技术集成管理问题

  图3-1数据平台逻辑架构,多个集市都从业务系统进行数据采集,每天大量的明细数据的在多个业务系统和分析系统间进行传递,一份数据会有多个采集任务,这样的数据交互方式会给生产系统带来极大的性能压力,也会影响系统的安全运行,同时一份大数据文件在网络传输过程,出现延迟、丢包等问题。通过日常系统运维日志问题分析,核心业务系统出现丢包、表死锁次数较多,基本出现在月初和月末的大量数据分析时间段,出现问题的原因是在线的数据访问会话增加,访问频次的增加。

  目前除了自动采集问题,还存在大量内部业务手工投资股权明细台账和短期资金投资业务数据,没有在系统中维护,还游离在系统之外,没有进行有效采集。在进行一些客户关键属性的分析时,无法分析到,导致关联分析不完整,数据出现一些错误的指示。

  3.3.2数据应用建设缺乏全局规划

  AMC公司数据应用建设缺乏全局规划,使得相同的业务相同的分析指标没有进行公共化、共享化,导致各个部门各自为证,无法实现企业级的绩效衡量和综合评价,更无法实现部门间的高效协同。

  (1)数据资产管理问题

  目前没有对业务系统、分析系统进行有效的元数据进行定义和收集管理,也没有相应的数据映射影响分析管理。对于业务系统关键实体信息,公共重要实体表和属性没有管理。在进行多场景应用分析建设时,针对一张表或通用属性,不同团队需要进行多次重复调研,开发效能差,内部数据定义共享服务差。且一些表和实体的描述都存在内部开发人员的脑海中,如果人员离职,对于表的解释需要通过大量复杂脚本的解读才能理解表的含义以及相应数据值的含义。另外,源系统有一些更新调整动作,下游的应用影响分析也只能通过大量代码解读的方式获取。这样的开发评估效能,大大影响整个数据应用分析的快速、有效进行开发。

  (2)数据标准建设问题

  企业级数据标准虽然有定义和发布,但是没有后续相应的流程和手段保证这些标准的落地实现和落地核查反馈。一些常用的业务维度和分析维度比如行业、行政区划、币种,在各个核心系统存在不同的值,这些基础维度出现差异,导致源于两个系统同一个不良借据协议金额,出现在汇总分析维度上的有所差异。同时,业务分析指标各自定义,没有进行统一命名和规则定义,数据值将会无法比较。以“股权账面价值”为例,A部门的股权账面价值是对应的成本科目加公允价值变动科目,而B部门的股权账面价值是对应成本科目加公允价值变动科目加折价调整科目,这样对应到一笔不良收购的股权在不同的部门看到的账面价值就不一样。由于缺乏公共化、共享化的数据标准定义,很难推进一份数据服务于全企业。

  (3)数据集市逻辑架构规划问题

  已实现的数据集市属于部门管理使用,但从企业视角看,需要服从企业整体的数据应用,不能重复建设,低效建设。AMC公司整体集市分析应用,没有建立在统一架构、统一平台、统一数据下实现。没有统一架构,面临诸多业务数据抽取差异问题、数据存储浪费问题、共用规则加工不一致问题以及数据无法共享推广问题等等。以对外监管报送为例,对银监报送有非现场监管报送和客户风险报送,这两项报送,分别涉及到资产管理部和风险管理部,两部门各建平台实现相应的报表和指标报送。因后续银监对上报的非现场报送汇总指标和客户风险报送的汇总指标进行指标值一致性校验。AMC公司两指标差异较大,AMC被责令限期整改后,重新上报。对共性应用,两个监管报送应该从数据仓库平台的共性层引用相同表、相同属性,以解决加工不一致的问题。

  3.3.3经营模式创新缺乏数据驱动力

  随着“大资管”时代的来临,资产管理行业将进入混业经营发展的新阶段,在混业经营的新形态下,既存在业务上的相互创新融合、也存在彼此跨界竞争。依据《2018-2023年中国资产管理行业市场发展现状调查与投资发展趋势研究》报告概述,在“大资管”时代下,中国资产管理市场面临前所未有的发展机遇,全国资产管理业务总规模近5年平均持续增长率高达20%[23]。依据银保监会对商业银行不良贷款余额历年统计数据来分析,2016年后,我国商业银行不良贷款增速出现显著下滑,但近三年平均增速15%。显然,正常资产管理规模和不良资产管理规模都以呈现出阶梯式持续增长态势,且正常资产管理大于不良资产管理。

  通常来讲,AMC公司是具有全牌照的金融集团公司,利用全牌照的政策制度优势,利用资产管理公司在不良资产管理全流程中积累的数据,来构建“大资管”资产管理的新经营模式。然而,这里的数据仅仅是数据,没有有效的形成客户行为规律的知识发现,没有对客户进行有效识别和统一管理。进而无法利用客户的有效信息,进行业务拓展,推动经营转型。

  目前在应用分析集市的建立仅仅以服务于外部监管的统计需求为主,且监管要求报送涉及风险相关应用数据还停留在手工报送的阶段。当前数据应用建设主要有以下二大问题。

  (1)应用体系构建问题

  当前对于应用数据集市的规划不成体系,虽然一期管理会计有一些应用分析,但没有构建管理会计成体系分析架构,实现多维度的核算汇总分析、内部机构成本分摊,全面预算管理以及有效的绩效考核评价;没有对公板块客户统一视图、对公绩效的体系建设,对客户进行维系和管理;没有针对统一对外监管报送体系;没有统一的风险管理集市,构建客户风险监测和预警。以风险集市建设为例,当前虽然支持了部分监管报送的风险相关的报送,目前这些数据还是手工数据,没有进行有效的系统管理。经营分析系统中也有一些风险应用报表,但还停留在传统的资产负债综合统计,没有以风险资本约束为核心的全面风险管理模式。需要不断构建信用风险、流动性风险、市场风险等等风险分析需要的基础数据,并且采用完整的风险计量体系,实现全面风险的识别、监控、预警。

  (2)客户精细化管理问题

  AMC公司由于其经营不良资产收购处置的业务特性,目前主要客户群体是对公企业,客户获取是以不良资产收购和处置业务时建立的,客户的基础属性也是在这两个业务阶段进行维护的,如果后续不进行不良资产重组方式处置,就收集不到更多的客户统计类、规则类标签的数据,就无法构建客户精准画像。如何应用已有内部数据和外部数据,实现现有存量客户和新增客户的全面标识,对客进行“一站式”管理服务,利用已建设的数据应用实现客户不良资产尽职调查优化,提升商业收购方案定价能力,提升资产处置优化设计,是当前数据应用需要优化赋能的核心问题。只有通过数据驱动业务模式的转变,实现在不良资产收购处置市场和金融服务市场的多元化发展,才能深耕目标客户细分市场,且形成企业在目标市场的竞争优势。

  商业智能化应用优化方案

  4

  本章节主要内容是以解决AMC公司商业智能化存在的问题为核心,利用商业智能实现技术,对亟需解决的问题进行分解,提出从基础数据平台的建设到数据应用分析一整套较为完善的解决方案。

  4.1商业智能化整体优化设计方案

  基于AMC公司的当前面临的商业智能化建设阶段和现有系统建设现状问题,基于2015年末Z国际信息咨询公司给AMC公司进行企业的信息化规划和系统优化方案,依据商业智能化实现逻辑架构蓝图,将商业智能化落地优化的设计方案分解为如下三个方面:

  (1)对资产管理公司数据分析平台统一化、规范化的建设规划。以数据统一交互平台为数据交换逻辑大集中,以数据仓库建设为基础数据核心平台,以数据集市为数据应用中心。以基础数据平台建设推动数据标准、数据管控的规划实现,完善数据的价值应用和数据资产的优化管理。

  (2)在基础核心数据平台的基础层建设中以Teradata公司的FS-LDM金融数据模型为整个数据层的建设框架,构建资产管理公司企业级数据仓库模型,用于指导资产管理公司数据仓库的建设。同时,结合行业应用分析框架,来实现数据分析应用集市数据逻辑集中和应用的有效价值化。

  (3)基于现有数据标准咨询方案,结合数据管控平台实施规划,推进数据标准的执行落地,推进各个核心业务系统的数据定义项的有效收集和数据质量的校验管理。通过数据管控平台的元数据管理功能、数据质量核查功能、数据标准定义功能,实现业务源系统、数据仓库系统数据元映射的自动收集、数据质量校验规则自动核查校验,将数据标准化体系和数据管控流程有效的、紧密的结合,现成数据管控一体化管理模式,提高数据质量,推进数据资产高效运营。

  4.2商业智能化数据分析平台规划

  数据分析平台规划还是以AMC公司的系统整体外部咨询方案为蓝图,从数据逻辑架构层面、平台建设实施建设层面逐步推行实现。从规划到实现,技术层级的架构以AMC总公司科技部主导,业务应用层面以主管业务部门负责。

  4.2.1数据逻辑架构优化

  AMC公司数据逻辑架构在第三章的3.2.1小节中进行过描述,基本分为三层,源数据层,平台汇总层,应用接口层。针对数据分散管理,导致安全性、应用性、集成性、扩展性差等问题。首先从AMC公司数据逻辑架构进行优化,需要建设统一数据逻辑架构、统一数据平台、统一数据管理架构,通过架构优化和数据处理流程的优化,提升数据的访问效能、数据访问安全、系统访问安全性,进一步提升数据服务响应效率。通过融合结构化和非结构化大数据的分析技术,实现海量金融数据的收集、处理、存储与管理,推进人工智能和深度学习技术的金融应用探索。

  在新的数据分析逻辑架构如图4-1,我们从数据的获取、转换、集成、输出等环节进行规范的、标准的层次定义和功能定义。从数据存储和使用角度设计为多层、可扩展框架结构,层次分为数据源、数据交换、数据仓库、应用服务层、统一门户层。

  图4-1数据逻辑架构体系

  对上述图4-1参考架构的主要组成部分解释如下:

  (1)数据源

  数据源包含多形态数据结构的内外部系统。其中有以内部核心业务系统、账务系统、客户管理系统等等结构化数据表或结构化数据文件,还有一些非结构化和半结构化数据主要来自大数据平台通过大数据技术获取的图型数据和文本数据。目前主要规划结构化数据的采集、应用、管理。后续考虑拓展非结构化及半结构化数据数据采集和管理,作为数据分析应用的优化补充,为客户提供更多的有价值的数据支持。

  (2)数据交换平台

  数据交换中台负责从业务系统或分析系统获取数据,标准化成可加载或可分发的数据文件,为下游应用提供集中数据交换。完成数据统一采集、统一加载入仓,完成数据在源系统、数据仓库、分析型应用之间以及内部系统之间的数据交换,完成文件级的数据处理和数据存储。数据交换中心是源系统和数据分析平台之间数据交互的桥梁。

  (3)数据仓库EDW

  数据仓库作为整个AMC公司数据中后台数据的集中处理中心,从源系统获取数据,对数据进行统一的识别、分析、定义、整合、存储,为下游应用提供统一化、标准化、全面化数据服务。数据仓库提供企业全域数据的鸟瞰图,是整个分析体系架构中的最基础、最核心的部分,数据仓库平台通用数据层次包含技术缓存层、ODS层、数据整合层、数据汇总层、数据集市层。

  (4)统一数据管控

  数据管控体系是一个比较宏观的概念,从数据定义、数据生成、数据交换、数据处理、数据存储、数据管理等等多个循环往复的数据流转环节,到数据生命周期结束消亡的内部流程控制。整个管控体系包含各个数据环节的管理方法、实施流程、实施策略以及配合实施管理的应用工具。数据管控体系的建立不仅需要实现数据标准定义和实施、数据模型标准建设、元数据的收集管理、数据核查机制设定与实施,还需要通过数据管控体系保障整个应用分析系统内数据定义的标准性、数据口径一致性、数据统计值正确性,提升全域数据应用价值,提升数据应用服务能力。

  (5)ETL任务管控

  ETL任务管控是面向企业级的、跨系统的、跨应用的基于数据流转环节生成的任务管理和调度管理。通过统一配置界面实现各个系统层面的作业配置,以及监控和分析作业运行状态和运行结果,并且通过统一界面实现跨系统、跨应用任务的监控和处理。图4-1数据逻辑架构体系中,ETL任务管控功能将实现数据交换区中数据加载入贴源层任务配置调度,再到贴源层的数据执行清洗、转换等任务配置调度,最终实现所有数据流转、汇总环节的任务配置调度以及运行情况监控。ETL任务管控将同时实现ETL任务批量配置、ETL任务统一调度、ETL任务集成管理、ETL任务统一监控,保证系统数据处理作业流高效、稳定、可视化。

  综上所述,基于如上图4-1所示架构的介绍,后续需要明确架构中核心平台进行进一步优化改造。基于新数据逻辑架构体系,需要明确新数据逻辑架构中分析平台和现有业务系统(核心业务系统、核心账务系统、客户信息系统、资金管理系统)的数据计算、处理、存储管理的范围和分工界面。依据外部咨询专家的意见,AMC公司将逐步弱化现有业务系统的分析功能,对这些分析应用统一进行整合,逐步迁移到统一的数据仓库或数据集市进行处理计算。结合AMC公司当前商业智能化落地实施现状,后续我们需要对数据交换平台、数据仓库平台、数据管控、数据应用建设进行优化。

  4.2.2数据交换平台优化

  在AMC公司数据交换层错综复杂,且隐患较多。数据采集交换是数据应用分析的第一步,建立一套标准的、高可靠性的、规范的数据采集交换方案尤为重要。AMC公司已经实现数据采集工具化、标准化。需要重新优化数据交换层功能定位,数据交换层的定位,实现系统之间的数据批量采集和批量分发,减少数据在系统间的流转时间,统一抽取,统一分发,可节约ETL系统的投入、减少相应的应用维护费用等等。

  (1)数据交换层现状

  在数据交换层建设之前,是多个分析系统直接从业务系统进行数据抽取,同一个数据库的一张表,对多个下游应用系统使用,大家各抽取一遍,抽取的时间点不同,得到的数据可能有所不同。目前,数据采集和交换方式和手段多样化,缺乏企业级别的统一的数据采集和交换平台;FTP传输方式存在安全性和效率的问题;集中访问业务源系统,容易出现系统宕机风险。

  (2)数据交换层优化

  建立企业级的数据统一数据采集和交换中心,负责操作型系统和分析型系统之间、分析型系统之间、操作型系统之间(不包括外围系统上传主机的情况),以及母分公司之间的批量数据交换。数据一次采集,多次使用。数据交换平台标准模块如图4-2所示。

  图4-2数据交换平台标准模块

  数据交换平台参考功能架构如图4-2,我们将从这个参考架构出发,结合AMC公司的业务、IT现状,对参考架构进行客户化设计,定制和裁剪功能模块,并对核心功能模块进行细化,制定适合AMC公司实际的数据交换平台总体设计方案。

  通过数据采集和交换平台对多个目标系统进行数据分发,减少对源系统的干扰。力求处理流程的合理化;丰富和优化数据的采集和处理方式,实现准实时数据的采集,优化增量识别、数据筛选等处理功能,提高时间窗口的处理效率;优化监控功能,对数据的采集、处理及分发作业进行统一的全流程的监控管理;优化配置管理功能,对采集、处理、分发、调度、监控各个环节进行统一的参数化配置管理。

  4.2.3数据仓库平台优化

  在之前的ODS平台中,没有历史,没有整合,没有共性汇总导致的问题,我们通过新的数据仓库平台的数据整合和管理体系实现。在图4-1数据逻辑架构体系中,数据仓库平台是整个架构体系中的重中之重,是整个分析体系中的核心计算层,在这个体系下,构建标准的、可共享化、可模块化的全域数据,避免数据冗余、指标不一致,减少相同逻辑的脚本多次运算,减少冗余存储,提升系统整体运行性能、数据应用价值。

  数据仓库平台数据流实现过程,首先实现业务源数据实体识别、关系识别,然后对识别的数据进行标准化、规范化定义,再对定义的数据依据业务分析的共性进行预筛选、预关联、预处理。主要实现业务应用的业务公共模块、技术处理公共模块优化应用,目标保障公共指标值的数据一致性,减少相同逻辑的脚本多次运算,减少冗余存储,提升系统整体运行性能、数据应用价值。

  数据仓库平台的优化主要有三个方面的优化:数据仓库平台架构优化、整合数据模型优化、汇总数据模型优化。

  (一)数据架构优化

  通过对现有数据需求的调研分析以及结合同行业商业智能化落地先进经验,仔细研究各种数据架构的的特点、用途以及技术上的关注点,重新优化了数据流转过程的数据架构层次设计,优化前的数据流程图如4-3

  图4-3优化前数据流图

  优化后架构设计流程图如图4-4:

  图4-4优化后数据流图

  优化后数据架构层次是为了满足现在需求,适应未来更加复杂的需求。调整后的架构对每一层功能给了明确定义。数据仓库平台实现了从数据采集到数据应用的全流程主要数据领域的数据集成计算。数据交换层的优化已再本章4.3.2小节中进行了详尽的描述,本小节重点描述数据仓库平台内部的数据架构。

  在数据仓库的数据架构层次,参照了金融业界的通用五层架构,包括技术缓冲层、贴源数据层、整合数据层、汇总数据层,标准的五层数据架构。

  技术缓冲层是从数据库外的文件到数据库内存储的第一次数据冗余存储,目的是为了后续数据能进行预运算而设计的临时数据层,这个层一般都不对外提供数据服务。这一层数据一般情况只放近几天的数据或只放一天的数据,具体存储策略都需要企业存储的规划而定。存放冗余的数据,是方便后续加载出错时,能很快的进行数据回溯处理。

  贴源数据层是按源业务系统进行分类,以源系统的结构,按不同历史数据加载算法,对源业务系统的数据进行历史存储的数据层。本层和技术缓冲层的主要定位区别是本层数据表会依据表的重要程度、表的处理方式进行历史数据存储。数据结构和数据内容都和技术缓冲层一致。贴源层数据层主要功能定位是源系统样本数据的历史存储,主要支持后续整合数据层的数据出错重加载、外部监管部门进行现场数据核查、数据挖掘历史数据抽样验证等等必须访问源样本数据的数据应用。

  整合数据层是依据企业全域业务关注内容进行主题划分,依数据驱动对数据实体进行整合、拆分和重组,为应用分析提供统一的数据定义和标准的数据集合。

  汇总层是服务于业务应用的,按照业务分析领域构建一个统一化的、标准化的、共用化的数据定义。这一层的数据将服用于业务领域集市或专题数据集市。整合层和汇总层分别是数据驱动建设和业务驱动建设的重中之重。

  (二)整合数据层模型优化

  AMC公司之前没有整合层,没有对数据进行标准化标签化定义,因此在数据应用时无法实现普世性的推广。整合数据层模型设计理念是建立一个标准的、通用的基础数据层次,为企业不同内部机构不同业务需求提供通用的、标准的数据定义;建立一个可扩展的、动态的模型,这样的模型能够承载业务系统的数据架构调整,比如核心业务系统改造、业务变更。当业务系统发生变更时,整合层的数据架构不发生大的调整,只需要调整脚本对应的数据源,整合层的结构稳定是为了将汇总层和集市层的变更影响降至最小。

  整合层模型框架采用广泛应用的数据模型Teradata FS-LDM,如图4-7,是基于金融行业整合层通用的十大模型主题框架,后结合AMC公司的业务关注内容和系统现状分析构建的主题,其中相关方、协议、事件、产品、财务、内部机构是企业关注的核心主题。

  图4-7概念模型

  依据对AMC公司的系统建设规划、系统实际建设情况以及业务需求分析调研,数据模型主题的建议包含相关方、协议、资产、事件、项目、产品、内部机构、参数九大主题。我们需要针对每个主题进行统一的业务定义和入该主题的数据规则限定,比如相关方主题,我们需要定义这个主题所关注的对象,哪些对象能划分到相关方主题下,相关方主题下的超实体、子实体的划分和入数策略以及相关方整体关联关系以及概貌描述。

  如图4-8,企业关心的个人和机构可以定义为相关方,这个语义定义比较泛化和中性,能涵盖所有企业想关心的实体,如债权人、合作方、交易对手、担保方、关联方等等。做这样的中性定义是为了能进行有效的进行业务拓展,也为了能在内部形成统一化交流语言。

  图4-8逻辑模型

  数据整合层的整体优化思路,首先,以行业FS-LDM为框架,依据内部的数据建设情况进行数据分析架构的宏观规划以及各大主题的语义定义和规则限定。其次,依据数据和需求双驱动的模式构建各个主题的主要实体、关联实体、实体的键值、实体的非键值属性的信息。最后,在模型落地实现可依据现有数据库的类型和运维方式选择表或视图的方式落地。模型优化的最终目的是实现整体数据的有效使用和定义。

  在数据整合层中我们加入了一张特殊模型,是维护所有逻辑和物理模型的对应关系,并对物理模型落地表进行相关属性进行收集,比如表的创建人、表的日数据量、开始使用时间、表的引用次数、是否无应用标志等等。创建这些属性是为了未来能将所有模型和落地表进行有效的关联管理和数据应用生命周期的分析管理。数据仓库的整合层建设是一个不断迭代循环的过程,需要经历多个建设周期才能完善,由于建设时间周期长,很多企业的整合层建设已经进入一个无序的野蛮生长的状态。因此,需要在设计层面就加入数据管控属性,再配合完善的流程和人员管理,实现整合层应用的有效建设。

  (三)汇总数据层模型优化

  汇总层,也叫共性加工层。汇总层的整体优化思路,首先,依据AMC公司业务运营框架,构建出业务分析主题的汇总框架,整体框架如图4-9;其次,依据维度建模的方法实现各个业务条线的维表和事实表的完善,表属性完善的过程需要对现有监管报送应用和综合报表应用进行口径的梳理和确认。最后,完善模型的验证和测试,以及数据集市应用数据源切换规划。

  不同的资产管理公司,有不同的系统建设情况,但是主要从事的业务内容大致相同,对于一些特殊的或特色业务我们也基本能框定进来。在整体设计框架下,还可以依据实际情况进行业务细分,比如不良收购可以细分为传统类的不良业务和附重组类的不良业务。

  图4-9汇总层设计框架

  模型设计方法以维度建模作为理论基础,构建宏观的的分析矩阵,划分和定义数据域、维度、业务过程、属性、度量值。数据域是指面向业务分析,将业务过程维度进行抽象集合。数据域是需要抽象提炼,并且需要长期维护和更新的,但不轻易变动。在划分数据域时,既能涵盖当前所有的业务需求,又能在新业务进入时无影响地包含进已有的数据和扩展新的数据域。维度是维度建模的基础和灵魂。在维度建模中,维度是分析事实的多个视角,属性是定性值,度量值是定量值,比如,在分析收购过程时,可以通过资产方、同业竞标方、债权人、不良资产包、时间、区域、行业等维度描述收购交易的概貌。维度属性是表示维度的定性属性的,比如对公客户行业、经济性质、规模、经营状态等等。而度量值是对公客户金融资产余额、企业财务报表中的收入、费用等等

  构建主要维度表,生成维度属性,以及生成的维度属性的优劣,是模型设计重点关注的内容。下面以客户主数据维的设计为例,进行设计优化步骤说明。

  第一步:确定客户主数据源,AMC公司的客户数据存在多个业务系统,比如生成客户唯一号的客户管理系统、不良业务经营系统的债权人信息。在汇总层建设维度属性时,必须确保维度的唯一性。由于客户数据在多个业务系统存在,在数据范围和记录属性上有所差异,为了提高数据的一致性,我们需要对数据进行归一化处理,这个处理流程在整合模型的客户主题下处理,对于汇总层,只需要引用对应的主表就可以了。AMC公司有主数据维度的表除了客户维度表,还有项目维度表、内部机构维度表、部门维度表。

  第二步:确定客户维度属性,在确定了客户主维度后,就确认了数据的来源主表和记录范围以及基础属性,对于客户主维度的属性,基础属性来自整合层对应的客户主表,另一部分行为属性来自相关维度表中的维度属性。

  第三步:确定数据存储方式,对于数据分析平台的重要功能就是反映历史变化,数据维度表的存储方式的选择,是依据维度的变化程度和业务需求的具体要求来设定。有两种方式记录数据存储方式,一种是重写维度值,这种方式不保留历史,只保留最新数据。另外一种是快照维度,这种方式表保留历史。客户主维度的表采用快照形式表存放。

  4.2.4数据管控平台优化

  建立一个企业数据管理和控制的完整体系,实现金融数据的“资产化”管理,让数据成为企业的数字化资产。对于数据分析应用出现的指标不一致、数据质量问题以及数据资产的应用推广的问题,需要建立一个统一的数据管控体系,进行数据资产进行统一化定义、管理。目前AMC公司没有建立一个完整的数据管控体系。根据国内先进金融组织数据管控的最佳实践,结合AMC公司银行实际情况和数据管控的目标,如图4-10所示的数据管控功能。

  图4-10数据管控功能框架

  对于数据管控体系的建设,是从无到有、从有到优的过程。依据AMC公司企业层面数据管控体系战略建设目标,结合各部门数据标准、数据质量的数据管控工作现状和管控工具的使用情况。提出数据管控的现状分析和优化策略。

  (1)数据管控现状

  汇总访谈和现场资料的收集发现,虽然有一些流程管控政策,但基本在邮件系统中传递,没有形成有效的公布,形成内部共识。数据口径不一致,业务标准不明确,所谓的标准只是存在业务人员的脑海中。调研如图4-11

  图4-11数据管控调研汇总

  (2)数据管控优化

  数据管控体系的建设是一项复杂和庞大的工程,涉及多部门的工作协调、多系统的协同。数据管控工作的推进牵涉到组织架构、管理政策、管理流程、管理目标的建设,后在各个数据管控端进行落实执行。

  通过管控机制和管控手段形成数据管控矩阵,能有序高效地提升数据架构各个层次的管控及协作能力,增强企业级数据资产管理能力,推进数据分析产品持续优化。管控机制建设主要包含管控政策、管控组织、管理流程、管控工具这四大部分的有机的融合。再结合强有力的数据质量、数据标准、元数据、数据生命周期等数据管理手段,实现数据管控体系的建设优化。具体优化工作步骤如下:

  首先,建立有效数据管控机制。明确数据管控涉及数据领域的政策、规范和实施办法,通过管控工具建立和维护管控政策和规范,后通过OA工作流发布政策的细则说明,例如数据管控政策的参与制定方,政策的使用范围,政策更新负责人等等。除了明确政策、实施办法,AMC公司重新设立虚拟的数据管控组,设立数据管控虚拟组织是为了保障数据管控工作的有目标、有计划的推进,保障部门之间的工作有序进行。其中数据管控组内成员来自各个部门,成立专岗负责制,并明确这些负责人在其数据管理域内的职责和角色。完善的政策、顺畅的流程、明确的责任是确保数据管控一致贯穿有效基础支撑;

  其次,有效的基础支撑完善后,需要完善数据管控手段,数据管控手段将从数据质量、数据标准、元数据、数据生命周期四个方面推进。以数据质量优化为例,依托集成化的数据管控工具,以数据仓库项目为建设基础,完善四大数据管控内容的落地实现.针对数据质量模块的优化,建立数据质量全流程管理,从数据质量规则配置,到数据质量校验问题推送,再到问题处理解决,整个自动流程化实现,保障数据信息的准确性、完整性、一致性.

  最后,以上两个优化步骤的实现,需要配合有效的数据管控产品进行推进。目前市场上成型的管控工具较多,实现的主要功能大致相同,每个小功能点实现的方式或流程略有差异。外部产品选型时,最好与数据仓库项目实施企业进行,并可进行定制开发。

  综上所述,数据管控建设总目标是提升企业整体视角的数据环境规划能力;提升统一有序的业务系统和信息管理系统的管理;提升企业信息的质量(可访问性、可用性、正确性、一致性等);提升数据的安全性(数据、硬件、软件、应用系统、使用者);提升企业内部不同职能部门之间的共享数据和协同工作能力。

  4.3商业智能化数据分析应用优化

  在4.2小节是针对实施平台进行的分析和改进优化,对于商业智能化实现,相关的技术和平台是实现数据分析的基础。只有数据地基建设好,才可以进行更高一个阶段的数据探索发现,知识规律总结。

  应用服务层主要面向客户请求,提供数据接入服务,主要包括移动终端接入服务、统一门户服务,为对外提供数据服务的入口。基于AMC公司IT架构,确定应用系统的规划范围,对于具体应用系统建设的规划应遵循“基础数据支持+专题应用集成”的思路,基础数据支持多个业务集市公共关注的业务属性的加工,专题应用是指在应用系统指特定业务领域的专有系统,例如资产负债管理、客户关系管理、风险管理应用、监管类应用报表集市等等,但是除此之外一定有一些非特定领域的应用,例如即席查询、数据挖掘等。这里我们建议在基础数据支持应用覆盖这部分需求。本次数据应用分析优化从以下三个方面展开。

  4.3.1数据应用集市架构优化

  数据应用集市数据架构优化,数据集市是服务于特定应用系统的数据存储,建立数据集市的目的不是数据共享。根据与数据仓库的关系及物理存储方式,数据集市可分为如下两类,依赖数据集市和独立数据集市。从架构层面而言,独立数据集市的数据多头进多头出和多头加工,势必造成信息的不一致,加工性能的影响决策支持的效果。如图4-10所示,这种“蛛网式”的架构是优化前数据应用架构。

  图4-12独立数据集市物理架构

  依赖数据集市是建设分析型应用的数据架构,在这类架构下,数据仓库与数据集市的关系如4-13图所示,即数据仓库是数据集市的唯一数据来源,并为数据集市提供细节数据和长期历史数据支持。

  图4-13依赖型数据集市物理架构

  从AMC公司数据应用集市的整体规划看,存在数据仓库内集市和数据仓库外集市,但整体的数据分析应用的规划,将逐步替换业务系统的业务分析应用,业务系统承载的应用将逐步迁移到数据仓库来实现。目前主要规划改造的集市有财务集市、监管集市、统一指标集市、风险管理集市、人工智能应用集市。无论哪个集市,公共的数据统一有数仓整合层和汇总层提供数据,特殊业务应用,从贴源层提供数据。

  4.3.2数据分析应用体系优化

  数据分析应用体系规划,目前AMC公司建设的应用集市主要以监管类应用为主,目前内部运营分析类的报表未成体系。借鉴国有大行应用集市经验,总结凝练了一套数据集市应用框架,包括了客户管理、运营管理、风险管理、财务管理四大支柱的二十多种应用方向,为后续AMC公司的数据集市项目建设和推广应用提供了极好的方向。图4.12为结合AMC公司现状和业务分析的特点,构建的应用框架。

  图4-14AMC应用框架

  上述应用方向落到具体应用,第一部分客户管理应用,客户管理应用包含客户信息管理系统、分析型客户关系管理系统、操作型客户关系管理系统、个人评级评分计算、客户贡献度计算/模型、客户流失概率模型、客户聚类细分模型等;第二部分风险管理应用,风险管理应用包含1104监管报表、人行反洗钱、人行征信、非现场稽核、五级分类数据加工、内部评级法、定价系统、客户违约概率模型、信用卡申请评分模型、资本充足率、资产负债管理等。第三部分财务管理应用包含人行集中金融统计、内部财务信息分析、管理会计等。第四部分运营管理应用包含经营指标快报、利润贡献度、业务统计分析、渠道分析、中间业务分析、客户经理绩效考核、部门绩效考核、项目绩效考核分析等。

  4.3.3数据应用服务推广优化

  从数据采集、数据交换、数据整合到数据应用展现,如果没有企业内部人员或外部人员的使用,前面所有的动作都是无用功,没有任何价值。数据全流程的管理都是为数据分析应用而生。数据产生于业务,也服务于业务。这才是数据的完整生命链。

  数据应用服务推广需要对以下二个方面进行优化:第一,从技术层面进行优化,在统一门户界面进行数据资产管理功能进行集成,同时提供专门的数据资产的问题交互专区和数据资产展现区。数据资产管理是将所有业务端、处理端、分析端有效的数据结构、数据定义、数据分析应用结构进行集成展现,每个层级的人员都可以看到公布处理的数据资产展示内容,如果需要相应的数据资产提供服务,可以在电子工单进行申请。后续也可以针对数据资产项问题进行及时答疑。数据服务产品的升级更新,有依赖更多的应用反馈。因此,打通技术的层面数据服务通道是硬服务能力。第二,从人员管理层面进行优化,提高内部人员的数据分析能力,提供相应数据处理技术应用培训、针对部门场景进行应用推广。目的是提升基础数据资产和应用数据资产的持续应用,以及提升数据分析助力业务创新的能力。

  4.3.4数据分析价值创新优化

  对于AMC公司来说,拥有金融全牌照,并不意味着金融业务的联合经营。金融业务联合经营的关键是能否实现多项金融功能的融合与协同发展,为客户提供“一站式”融合金融服务。实现业务转型,加强集团公司层面的战略协同,需要以客户为中心,建立不良资产收购处置全流程管理以及为客户提供综合化的、一站式的金融服务。

  AMC公司主营业务和高价值服务客户基本都是企业客户,如何构建和应用企业商业知识图谱,实现企业客户在整个金融生态链上的价值挖掘和风险管控,将是一项非常有价值的数据应用。在具备一定的知识体系,可以使用自底向上的方式行知识体系构建。基于自底向上的方式,实现知识图谱构建的步骤如下:

  第一,需要实现多个外部数据源的接入,例如,天眼查、企查查,这样的外部数据源实现企业信息查询和征信查询。除对接专有外部数据,还可以在相关网站中获取企业的上市信息、招投标信息,诉讼信息、并购事件、竞争关系信息等等。我国企业数量巨大,且数据源多,在进行数据源接入时,尤其外部数据源的接入一定符合我们知识图谱构建的信息需求,因为每一种数据源的接入除了人力成本,还有相应的技术集成成本和信息成本。

  第二,利用主流的知识存储技术实现知识应用场景的知识存储,目前没有一个统一的知识存储的解决方案,需要依据企业的架构特点,选择相对优化的知识存储。各类知识的存储主要包含属知识、关联知识、事件知识、资源知识等等。

  第三,实现知识图谱构建的重要环节是知识抽取,这一环节主要实现了不同数据源、不同数据结构的数据进行知识抽取。无论是结构化的数据,还是半结构化或是非结构化的数据抽取,都是需要提取信息中的主要实体,实体属性,实体关系,对应事件实体。只不过不同类型结构的数据采用的抽取方法不同。对于非结构化数据的知识会用到更多的数据挖掘的模型训练方法。而结构化数据的抽取,主要采用源到目标的结构映射实现。知识抽取过程需要确保数据的准确率和覆盖率问题。

  第四,知识融合是重点研究方向,知识的融合类似数据仓库的汇总层处理,将多源数据进行标准化定义,实体项、属性项以及记录项的合并,形成全域统一的知识标识和关联。而知识图谱的知识融合将更多的应用人工智能的技术和工具实现知识的融合,比如:GLUE、COMA、ASCO,Cupid等等识别系统,GLUE是应用机器学习,识别异构本体间映射的映射生成系统;而Cupid是通过模式匹配算法,综合使用语言和数据结构的匹配,获得映射结果。无论采用什么样的工具或技术,都需要统一考虑知识融合的规则、融合的效能、新增知识和多语言结构的融合问题。

  第五,知识应用是知识图谱价值体现,将知识图谱专有应用和传统数据域生成的数据相结合,创建多场景的应用可视化决策支持,助力业务分析和运营模式转型。利用语义搜索技术能快速实现不良资产尽调阶段客户的有用信息获取,为后续做竞价方案的生成节约的时间,也为后续客户风险管理提供了更合理的风险定价参考。

  综上所述,通过对AMC公司的商业智能化的建设现状和当前商业智能主要面临的问题进行有针对性的概述,后提出商业智能化应用优化方案。优化方案主要针对AMC公司处于商业智能化建设的阶段,提出具体的改进思路。通过数据仓库相关的技术和数据管控体系集成应用,实现基于全域数据的管控;通过金融应用体系的优化应用和数据“服务化”应用,推进数据资产化运营。

  商业智能化应用落地实现

  5

  在前面三个章节中,我们陈述了商业智能化是什么,商业智能化建设后给企业带来的好处,后就当前AMC公司在商业智能化建设过程中遇到的问题,依据商业智能化相关实现理论,并且结合同行业建设经验,提出优化的方案。针对优化方案,如何能很好的落地执行,落地执行后如何进行后续优化评估。本章节将详尽的描述应用落地实现和优化评价内容。

  5.1商业智能化实施关键

  商业智能化落地实现,不仅仅是一个平台项目或一两个产品就能解决的,它是数据分析平台、数据管理平台等等多平台项目的集成,这样的集成项目不是任何一个部门能独立完成,需要多个部门公共协作完成。尤其像数据仓库平台、数据管控平台,需要多部门的协作建设完成。

  基于Z国际信息咨询公司规划,我们有信参与到后续企业级数据架构和数据平台的方案提出、方案讨论,以及结合现状的方案调整。最后,得到了AMC公司认可,承接AMC公司数据仓库项目、数据集市项目、数据管控项目的建设。项目有效的推进建设,离不开组织层面的高度关注、部门间的高度协调配合、项目层面管理推进。具体的保障从两个方面进行描述。

  5.1.1组织人员保障

  为了提高商业智能化相关项目的有效建设和实施推进,需要公司高层高度关注,在跨部门协同和人员配备方面,给予大力支持。为了保证优化系统项目的顺利进行。为了全面推进商业智能化的工作开展,明确各部门的责权关系,保障商业智能化项目正常推进,保障商业智能化系统稳定运行。

  在商业智能化的数据建设过程中,为保证优化改造项目成立以总经理为组长的领导小组,以科技部门实施人员和业务需求部门需求人员共同组成的需求小组、开发小组、测试小组。共同完成每一期商业智能化的系统落地项目。

  在商业智能化落地建设的过程中,首先,设定目标,从组织层面需要有一个宏观的商业智能化实现的框架,并依据企业现状进行合理规划。其次,统一思想,数据建设、管理、使用,并不仅仅是科技部门的事,也是业务部门和数据使用部门的事,所有在建数据核心平台,需要主负责部门牵头,其他部门共同参与数据的建设。依据数据定义,值域定义、规则限定共同探讨、统一意见。最后形成人人都建设数据,人人都会使用数据,人人都管理数据。

  5.1.2项目管理保障

  在商业智能化落地过程中,会有不同大小的项目落地,不同的项目在落地时,是否有功能重叠,是否能有效的和现有的系统进行集成、融合,是否能再有限的时间内完成。这是从立项之初,就需要明确的内容,在项目实施的过程中,进行不断的跟踪监控的内容。为了保障项目的顺利进行,在项目管理过程中需要注意的事项:

  (1)项目立项审查制,项目审查由PMO牵头,组织立项部门和相关的科技部门和数据管控组进行项目的评审,主要评审的内容系统功能模块,功能架构、跨系统的交互。如果是引入成套产品,需要在引入之前做,相似性产品的POC测试;如果是定制化开发,需要评审实施方的开发资质,相关参与开发的人员的工作经历。

  (2)项目跟踪监控制,做项目的跟踪监控的前提是需要明确项目实施范围、项目管理整体计划,立项后,需要尽快收集项目整体计划,项目实施过程中,对项目的产出提交物,进行审查确认。比如,项目启动后,需求范围确认后,需要生成需求功能规格说明书、总体架构涉及说明书。项目跟踪审查依据项目开发的阶段进行安排,同时需要结合定期集中审查。对于重点项目,需要按周进行汇报,汇报内部包含当前主要工作内容、下一步计划完成内容,当前主要问题和风险,当前进行的工作和计划有多少偏离。

  5.2商业智能化实施策略

  在实施策略方面,根据行业建设理论和借鉴行业实施经验,结合自身实际情况,建立灵活的、可扩展的、高性能的系统结构。

  5.2.1自下而上实施策略

  从企业最关心的部分开始,以最少的投资,完成企业当前紧迫的需求,获取最快的回报,然后不断扩充,不断完善。“面-点-面”的模式实施,建立可扩展的系统结构,无缝的从数据集市扩展到数据仓库。

  1.“面”:掌握企业整个“面”上的数据。本阶段了解客户业务的策略性目标,分析并掌握企业所有的业务系统的数据,提供一个可扩展、可伸缩的系统结构。

  2.“点”:在“点”上建立面向部门的数据集市。针对一个部门建立数据集市,缩短系统第一期项目的周期,降低项目风险。需要注意的是,系统结构必须为扩展企业级DW做准备。

  3.“面”:把“点”连成“面”,建立企业级的数据仓库。双方有了建立数据集市的磨合过程,并且在第一阶段就考虑了系统的扩展性,以成熟的数据模型为基础,建立企业级数据仓库的风险将大大降低。

  5.2.2自上而下实施策略

  先建立一个为整个企业所有用户服务的数据仓库,建立数据仓库是根据企业信息需求,而不是部门信息需求。项目初期投资比较大,项目周期比较长。按照“面-面-点”的模式实施企业级数据仓库。

  1.“面”:掌握企业整个“面”上的数据。本阶段了解客户业务的策略性目标,深入分析并掌握企业所有的业务系统的数据,提供一个可扩展、可伸缩的系统结构。

  2.“面”:建立企业级的数据仓库。数据仓库面向企业的所有需求的集合,建立数据仓库的目标是成为企业的信息平台。项目周期会比较长,风险比较大,需要做深入的解决方案论证和充分的需求分析。同时,成熟的数据模型也是成功的重要因素。

  3.“点”:基于数据仓库建立面向各个部门的数据集市。数据集市充分体现客户的需求,优化查询性能,使用户可以非常方便的分析数据。

  5.3商业智能化项目实施

  5.3.1数据交换平台实施

  在图4-2数据交换平台标准模块中,我们看到数据交换平台的主要功能模块为数据采集、处理、分发,这个平台实现企业级的数据集中采集、数据处理,数据分发传输的功能,它不产生数据,也不进行业务上的规则转换。下面我们分别对三个模块的实现关键点进行详细描述。

  (一)数据采集设计

  1.数据的准入原则:指哪些数据在哪个阶段应该被抽取,而哪些数据不应该进入数据交换平台;

  2.数据的来源类别:指企业内部数据源,还是外部数据源或手工补录数据;

  3.数据的时效性要求:是实时、准实时、还是按日月季等周期;

  4.数据的抽取方式:是消息队列、数据库直连,还是数据文件;

  5.数据抽取的时间窗口:包括源系统和应用两方面的约束和要求;

  6.数据的全增量抽取策略:是增量抽取还是全量抽取;

  (二)数据处理设计

  数据处理模块数据处理原则,本模块不对数据进行数据预关联、预聚合处理。本模块实现的处理主要是输出的文件命名格式、字段的值、数据输出集合筛选处理。AMC公司不仅对接分公司的数据文件,还对接子公司的数据文件,多个下游引用一个数据源,尽量保证数据的贴源、数据处理规则是通用的规则,数据文件命名是标准的、统一的,并且遵循统一的规则。

  (三)数据分发设计

  数据分发功能模块应用,可参考业界成熟的工具,对工具的选型我们需要重点考量的功能点,如数据加密、数据压缩、数据传输、数据一致性校验、断点续传、流量控制、参数化配置以及工具界面是否易用。对于AMC公司,不仅需要满足通用分发需求,还需要解决特殊分发需求,比如分发的数据根据不同的下游系统调整为不同的格式,这种特殊性都通过配置文件实现,因此,需要专门的配置文件解析功能,来实现为各系统供数的特殊性。

  对于分发阶段的数据转换的需求,需在文件级别进行转换操作,例如分隔符的替换,分行符的替换,接口文件编码格式的转换。该功能通过封装的Perl脚本实现;对于一些特殊的应用系统,可能需要提供主动的数据推送服务,这样就要求本系统在数据卸载完成之后,通过文件传输软件,将数据传输到目标服务器的指定目录,通过标准的FTP方式获取数据。

  为满足AMC公司企业级系统群之间数据交换的需求,对内参与数据交换的文件进行统一命名、统一格式标准化,并充分考虑不同文档处理技术(脚本程序、ETL工具等)的影响,实现不同操作平台、不同应用系统、不同物理网络、不同地域间进行统一批量数据交换目的数据分发。

  特别说明,考虑到系统群的情况,数据属于那个数据库或系统,优先选择数据库来源分类,对于多个系统数据放于同一数据同一用户名下的情况,如业务核心多个系统共用客户系统的客户信息表,在满足交换文件可区分的前提下,为了有效节约系统资源,可以按系统名做为文件的前缀。具体的数据分发流程详见图5-1

  图5-1数据分发流程

  综上所述,建立统一的数据交换平台意义解决的是企业数据引用混乱的问题以及数据安全性问题。尤其在未来,企业内部更多的数据需要实现共享或需要引入更多的外部数据时,数据引入的安全性、系统的安全性都是上升到企业架构层面解决的问题。通过对多种数据源,多种维度数据,不同时效的数据,多种采集手段,实现数据的集中采集,统一安全下发。

  5.3.2整合模型层的实施

  数据仓库平台的优化中,提到了五层通用数据架构,在数据仓库项目一期实施中,也采用了五层数据架构,在数据仓库整体架构层次中最基础的、核心层次是整合模型层。本小节重点描述整合模型层的实施关键内容。基于业界成熟的逻辑数据模型,建立企业集中的企业级单一业务视图,支持数据共享,为分析型应用提供数据支持。在具体的实施过程中,整合模型建设需要理清各个核心主题的数据从哪里来,定义每个主题的主实体、主实体间关系以及实体的关键属性的定义。从不同系统来的具有相同意义的数据,如何进行取舍的规则定义。构建数据仓库的整合模型层逻辑实体时,在落地实施时需要遵从数据模型设计原则,数据模型设计原则集中体现在如下四个方面:

  第一,数据模型的泛化定义,为了能将数据标准化、规范化管理,需要对具有共同属性的数据进行归类化处理,归类处理时需要中性化、共享化业务定义,比如相关方的定义,就是泛化定义,但相关方主实体下的分类,就可以依据业务进行明确化定义,比如机构相关方、个人相关方,具有业务特殊语义的子类需明确化定义,而描述主题下共性属性需要泛化,比如,相关方协议关系,相关方项目关系等等。另外,数据的定义还需要考虑数据来源,有些数据已经是结果数据,就不需要整合处理。只需要定义存储规则。

  第二,数据模型的灵活性,数据模型需要对企业重要业务元素以及一些业务规则进行了规范化的处理。通常数据模型的建模方式采用第三范式建模,三范式模型建模的有点时减少冗余、灵活且易于业务扩展。在模型的架构建设上我们进行大的规划,在落地过程中,我们需要规则和定义进行完善补充。在进行业务补充的过程中,我们并需要调整整体框架,只需要自然的扩展内容就可以了。比如,新增资产证券化业务,这个业务会涉及到新增一个协议业务种类,在协议主实体中体现,而不需要修改原有协议主题下的模型框架。

  第三,数据模型粒度性,为了满足将来不同的应用分析需要,数据模型能够提供最小粒度的详细数据以支持各种可能的分析查询。无论时维度建模还是范式化建模,都需要考虑模型的粒度。一个模型的粒度体现了这个实体所能展现的记录的最细节的程度。比如借据协议明细,以借据号为主键,描述每条借据信息最细信息放贷时间、到期日期、借款人、保证金、借据金额信息、当前借据余额信息等等借据级的细节。以这些最小粒度的详细数据为基础,可以向上进行多个维度的汇总。

  第四,数据模型历史性,通常逻辑模型的设计偏业务,不会描述存储算法,但是当逻辑模型转化成物理模型进行落地的时候,需要考虑表的数据存储算法的。整合模型的历史存储算法比较多,针对客户状态历史类,推荐拉链算法实现,对于事件类的表,通常标准化定义视图后,以视图引用贴源层表的方式实现数据查询。具体物理模型落地的方式还需要综合考虑性能、存储、运维。数据历史属性追溯非常重要,比如需要看客户历史的还款情况、逾期情况、债项年日均值、历史某些时点值,通过历史数据,提取关键特征变量,进行客户的违约概率、违约损失率、信用风险暴露的计算。

  基于如上四大原则指导进行数据模型的评审核查验证。数据仓库的整合模型层的建设不是一蹴而就的,需要不断的收集数据,识别数据,整合处理。金融数据仓库的建设实施步骤,如下:

  (1)确认入仓系统清单:依据平台的建设需求和业务应用需求,梳理源系统现状和应用需求分析,综合系统现状,定义后续入仓系统和相关表的入仓范围和入仓计划。通常在需求调研阶段,我们需要收集未来要入仓的现有业务系统,对系统进行分类,优先入仓或优先入整合层的系统,需要按是否是重要业务核心系统、是否是主数据系统,按业务系统的重要程度进行划分或建设情况进行归类,设定入仓库优先级或入仓分析方式。比如不良业务系统、财务系统、客户信息系统,这些系统都是实现重要业务的业务和财务系统,一般业务分析的基础指标都来自这些系统,因此,通过调研分析,首先将这些系统的核心表进行入仓分析,后进行数据探查,以及归纳整理。整理结果形成主题域模型层建设的主要输入。

  (2)构建主题域模型:系统清单确认,依据系统优先级,对重要系统逐一调研,针对单一系统的系统清单确认,依据系统优先级,对重要系统逐一调研,针对单一系统的系统功能定位、业务流程、每个关键流程中的重要实体、以及跨流程,跨系统之间的接口是如何进行衔接,进行全方位的了解和调研。例如不良业务经营系统的不良业务为例,业务流程如图5-2,从不良资产的收购开始到不良资产的处置回收完结,需要经历9个业务过程,不良系统分别在九个业务过程记录不同的信息内容。在明确业务过程后,对每个过程中参与的人和经历的事进行分析,一般情况可以借鉴5W1H方法,分析出什么人,在什么时间,什么地方,干了什么事,整个事件又是怎么串联起来的。

  图5-2不良业务收购流程图

  通过跨系统的分析,对每个业务的核心数据进行识别。这一阶段属于概念设计段,将入仓的系统表进行分析,整理实体关系。构建的主题已经在4.3.3小节描述完成,主题确定以后,需要对每一个主题进行细化完善,完善的过程不应该对主题以及主题向下的框架有大的调整。

  (3)构建逻辑模型:概念设计完成后,进入逻辑设计阶段,这一阶段关键是数据的识别和定义以及数据关系识别,将源业务系统数据,经过数据验证后,存储为标准的范式模型。设计的模型样例如图5-3当事人主题逻辑模型概览

  图5-3当事人逻辑模型

  在整合层构造企业所关注的人和机构。入到当事人主题的实体都需要符合这个主题的定义原则。并且所有实体的建立基于逻辑模型在概念阶段规划的架构,进行数据识别,关系的建立,不允许出现某一个实体没有与其他实体没有关系。

  (4)构建物理模型:逻辑设计阶段完成,逻辑模型物理化,逻辑模型物理化的考量点,一要考量数据量,二有考量物理平台的类型,三物理表和字段的设计的标准化命名。设计的模型样例如图5-4当事人物理模型

  图5-4当事人物理模型

  (5)模型评审:在模型概念设计阶段、逻辑模型设计阶段、物理模型设计阶段完成后,都需要进行邀请外部的业务专家和相关的业务分析人员对模型的设计内容进行评审,在概念阶段和逻辑阶段评审的主要提交表就是数据模型图和相关的设计说明文档。

  整合模型层实施后,新建了数据模型包含200个实体,15000个属性。当事人主题进行多系统的整合,以及实现外部数据键值关联映射。基于数据调研情况当事人主题、协议主题、事件主题、产品主题、项目主题、财务主题是重点开展建设的内容。这些主题数据建设完成后,将有效的描述着业务的发展情况,客户的风险情况、企业财务运营情况。后续将全面的支持到汇总层应用和专题应用集市。

  5.3.3汇总模型层的实施

  在前面5.3.3章节中我们提到整合层的建设,整合层的建设偏重数据标准化定义,从企业数据分析视角去定义全域数据。而汇总模型层是以业务的视角管理数据,更侧重全局业务口径的统计定义,尤其是多种业务分析场景公共的业务属性、统计规则。在汇总模型的建设实施阶段,需要遵从什么的建设原则。

  汇总层模型设计是一个相对复杂的过程,好的汇总加工层设计不但能够很好的服务各类业务数据应用需求,而且不会浪费较多的存储空间,并能提供一个统一的、标准化的数据结果值。在模型设计的过程中,模型设计需要遵从如下实施原则:

  第一、依据需求建设原则,业务需求是汇总层设计第一个考虑的因素,在设计前,我们需要了解当前主要有哪些核心的业务数据分析需求,哪些核心业务源系统可以满足这些需求,尤其要关注这些数据表的数据量和数据质量如何。

  第二、最细粒度化原则,为了支持来自不同部分的需求,我们在设计汇总层时,至少要保留最细议粒度的数据,之后可以进行客户维度、品牌维度、渠道维度、内部机构维度等等多个视角进行数据的汇总。比如,在AMC公司,我们通常记录客户的贷款信息,有多个方式去记录。一个客户申请贷款,我们会记录申请粒度的信息,贷款审批后,会生成相应的客户额度合约信息,一个额度向下,可以有多个不同的合同合约,每个合同会对应一笔贷款借据,申请、额度、合同、借据我们统一归为协议,从数据的最细节的粒度来看,借据协议是最明细的数据,所以在进行模型设计时,我们通常会先建设这个粒度的信息。

  第三、性能优化原则,由于汇总层建立在大量的基础数据上,因此汇总层中间表的生成过程会消耗较大的系统资源,因此在满足业务需求的情况下,我们需要对数据和表的设计方式进行综合的研究。

  第四、扩展性原则,由于业务需求会随着用户对系统不断使用而产生变化,而且在汇总层的建设过程中,业务也在不断的变化,因此,汇总层能更快的满足业务的应用需求。

  第五、统一性原则,实现对常用业务统计口径统一的定义和维护,避免不同的应用加工出不同口径的数据;

  第六,共享性原则,汇总层数据时同时服务于多个不同应用,任何应用类集市都可以,使用汇总层的数据。汇总层提取各个集市的共性需求,实现数据加工结果的共享,减少系统重复加工的开销。比如在贷款类的属性中贷款五级分类是综合统计类应用和风险都比较关注的字段,对于综合类报表拿到这个指标会查看整体贷款质量的变化情况,而风险会依据五级分类的值,进行信用风险相关的模型计算或未来分析预测、风险准备金的计提。

  目前基于数据仓库平台汇总层的规划,已经实现财务领域基础信息,客户领域基础信息,经营业务条线的数据属性构建。在当前的实施阶段,已实现了客户主题域、财务主题域、经营业务主题域的共性数据需求分析,完成30张汇总层表建设。

  财务领域的基础信息,主要以财务的总账余额表、会计分录表、客户级财务交易表为源,提取主要的分析要素。目前支持到的应用有财务指标天天报、资产负债指标趋势分析、结构分析、财务盈亏分析测算等等应用。

  经营业务主题域,主要使用业务系统的属性信息和财务的账务信息,业务财务相结合的方式,汇总数据。业务属性信息主要要项目的基本信息、不良合同的基础信息,例如,项目类型,项目编号,项目名称,立项时间等等。而相关不良资产的成本余额,公允价值变动,风险计提发生额,都以财务系统为值为准。目前支持到应用有银监会的1104监管报送信息,财政报的报送信息,风险预警的报送信息,以及综合统计报表的不良资产分析。

  5.3.4应用集市层的实施

  商业智能化项目落地建设需要从容量、性能、数据等方面支持各阶段的应用,需要分析AMC公司应用建设总体规划,分析平台建设如何适应应用规划的需求。在相关项目落地实现时,需要依序完成如下的步骤:

  第一步,分析AMC公司应用建设的总体规划,确定各阶段基础数据平台需要支持的应用;

  第二步,应用建设的规划应该满足普通业务用户、高级分析人员、管理层、决策层等多层次人员应用需求;

  第三步,将应用所需的数据源、应用对系统性能及容量的要求,纳入到基础平台的性能与容量规划考虑中去。

  在明确了应用集市的规划实现时,应用集市应用架构问题,需要重点规划,在应用架构规则中,经常需要回答的一个问题是应用集市建在数据仓库内还是独立数据仓库外,在4.4.2小节中,我们给出的选择依赖型的数据集市,会优于独立型数据集市,在依赖型的数据集市中,数据集市是否与数据仓库同在一个物理平台的问题。

  从技术实现的角度看,只要数据仓库配置了足够的资源,性能和容量能够支持数据仓库及数据集市应用的要求的话,仓内集市优势更多一些。但有几种情况例外,一种情况为购买的应用软件包对数据库有特定的要求,如早期的SAS的挖掘工具必须在自带的数据库中进行运算,Teradata CRM产品只能建在Teradata数据库之上等等,如果软件包要求的数据库与数据仓库采用的数据不一致,此类应用就必须建仓外集市,这类软件包通常对数据有明确的要求,可以根据软件包的要求在数据仓库内完成数据加工,把加工的结果下传给应用集市;另外一种情况为先于数据仓库建立的应用,数据仓库建成之后,可以由数据仓库为应用提供数据,而应用仍然以外部集市的形式存在。应用集市建在数据仓库之内还是数据仓库之外,通过综合分析仓内外集市的利弊来决定,可以结合应用的需要求,来确定应用集市建在仓内还是仓外。应用集市“仓内仓外集市选择标准”,可以从性能、网络资源、安全管理、每GB磁盘成本、用户所有权等方面进行权衡考量。

  在应用框架构规划角度看,我们需要聚焦重点应用的规划落实。仔细剖析各种应用的特点、用途以及技术上的关注点,从基础平台的门户(portal)、报表、应用系统、灵活查询、数据挖掘等不同的应用方式、访问路径、技术难点等出发,设计基础数据平台的应用架构。同时,应从整体性能、明细钻取、数据复制、数据传输、安全管理、存储成本、工作负载、应用响应等方面综合考虑,选择适合的数据集市建设策略和部署方式。对于那些满足分公司业务特色、地域特色的特定应用,应在仔细调研的基础上行,结合技术上的支撑手段和实现方式,从总体部署的角度设计合理的数据分布,满足总、分不同层次、不同用户的不同应用需求和访问模式。

  基于以上目标,结合AMC公司应用集市的落地实施规划,主要从两方面进行阐述。一方面是业务分析应用落地实现,另一方面是应用的可视化落地实施。

  (一)业务分析应用落地实现,基于4-12AMC应用框架,结合平衡积分卡及关键绩效指标,辅助AMC公司的各应用KPI的设计落地。基于“BSC+KPI”解决方案的基础设计,从财务绩效,客户绩效、内部运营、风险管理4个方面,对企业全局视角、内部机构视角、内部管理视角等不同的层次由上而下、由粗到细的构建不同的指标。如图5-3基于BSC的KPI应用分析构建。

  (1)客户主题:构建客户统一视图、客户交易事件分析、客户关联度分析、客户贡献度计算/模型、客户流失概率模型、客户聚类细分模型等等。基于这些基础信息和通过数据挖掘模型应用分析,可以实现例如客户的平均生命周期最长?那种客户最易流失?哪种客户风险最大?这些是进行客户细分、实现交叉/增量销售、防止流失的重要数据基础;此外,还可以根据获取到的外部数据,比如客户征信数据,上市公司的股权数据、工商数据等等,进行全方位的客户标签建立。

  (2)风险主题:基于汇总层的协议明细级信息、以及客户主题下客户得财务状况信息以及一些外部给予的风险评级、征信信息数据,再结合客户的交易行为信息以及持有的账户、产品信息情况,可以实现客户信用风险相关应用分析,后可以直接对外输出统一得视图接口,例如给1104监管报表、人行反洗钱、人行征信、非现场稽核、五级分类数据加工、内部评级法、客户违约概率模型、信用卡申请评分模型、资本充足率、资产负债管理等。

  (3)财务主题:构建企业经营状况全景视图,通过内部结构、产品、协议类型、客户类型等维度展现相关财务数据;基于财务基础数据构建各类核心财务类应用分析,如成本核算、成本分摊、内部资金定价、经济资本配置、盈利分析、全面预算管理等等。

  (4)运营主题:经营指标快报、利润贡献度、业务统计分析、渠道分析、中间业务分析、客户经理KPI绩效考核、产品绩效分析等。

  除了已列的四个大主题,其他新增的主题分析,都将倡导一种建设模式,统一数据平台、统一数据、统一模型、统一的应用体系。在此基础上推进数据产品化服务功能,优化数据产品的服务功能。

  (二)应用可视化集成落地实施,考虑如下几个重要因素:

  (1)功能完备性:报表的展现方式,支持表格、仪表盘、结构分析饼图和柱状图、历史趋势分析图、分支机构分析柱状图等,完善用户权限控制,支持角色、用户组以及各中灵活的权限控制功能,支持报表的发布与撤销,支持报表自动刷新,支持灵活的用户交互方式,可以定制报表的优先级;

  (2)易用性:报表各项功能简单易用、报表开发快捷、方便、开发周期短;

  (3)性能:报表的响应速度能够达到SLA要求;

  (4)易维护性:系统运行稳健、系统具有问题自动报警功能;

  (5)开放性:易于集成到企业统一Portal中去、易于在该系统扩展新的功能、支持多种操作系统平台及数据库平台。

  (6)用户个性化功能:用户可依据不同的需求对报表、图表设置常用文件夹,对于页面上同时显示的报表、图表和相应的位置进行个性化定制,对消息发送的列表进行定制。

  5.3.5数据管控层的实施

  根据数据管控落地的功能要求,结合AMC数据管控落地执行情况,主要阐述数据标准管理、元数据管理、数据质量管理、数据资产生命周期管理这四块的落地。这四个模块不是孤立、割裂的,而是一个有机的整体,有着内在的联系,所以需要在这四者之上规划一个数据管控平台。

  在进行数据管控平台建设时,基于数据平台建设相对完善的情况下,通常实施路径都是按照元数据管理、数据质量管理、数据标准管理的顺序来进行。后续系统建设时应充分利用前期系统的建设成果,后续系统的建设也会对前期系统进行丰富和完善。四大模块细化功能如图5-3

  图5-3数据信息服务集成平台

  (1)元数据管理:系统建设最早,是整个数据治理体系的基础;其管理的元数据可以为其他系统来服务;数据质量和数据标准的建设,又丰富和完善了元数据信息。元数据系统中统一存储数据结构、数据字典等公用信息;元数据系统统一存放加工规则、关联关系、质检规则、标准定义等信息;关于权限、用户、角色的信息集中在数据信息服务综合平台上;本期实施重点规划是将核心系统的常用表的元数据收集,以及应用分析系统的元数据收集,数据引用关系的收集。

  (2)数据质量管理:可以直接从元数据系统中获取数据结构、主键外键关系等信息,生成质量检查任务,提升数据质量检查工作的效率和准确性;本期实施重点实现数据仓库主表的贴源层、整合层、汇总层表进行校验,比如源总账表、分录账表进行金额校验核查,汇总表和明细表进行金额的一致性核对,对协议表进行主键校验,关键属性字段属性值校验。

  (3)数据标准管理:数据标准管理工作主要体现在两个方面,一是标准的收集发布,业务部门提交了外部咨询公司的数据标准咨询方案,对咨询方案中提及的基础数据标准和指标数据标准,现进行版本发布管理,提交到管控平台进行发布管理。二是选定标准执行的范围,进行落地实现。数据标准能确保AMC公司的数据资产在交换和使用过程中具有高度的一致性和准确性。数据标准管理分为基础数据标准和指标表标准,基础数据标准主要实现数据项的类型定义、规则定义。指标数据标准主要实现指标的加工规则说明。本期数据标准以落地标准代码为推手,推进标准落地的流程完善,工具验证、工作流集成。

  具体落地步骤如下:第一,落地标准和系统范围确认,行政区划代码标准落地标准和落地系统范围的确认,通过比较行政区划官方发布版本和当前系统中运行的版本进行比较分析,发现内部系统就有多个版本,已当前最新版本发布内容为准进行更新,需求更新的系统有5个;第二,差异和影响性分析,每个系统现有值与标准的差异,都可能不一样,需求明确差异后,从多个方面分析数据标准落地后的影响,直接影响和间接影响。第三,制定执行方案,根据影响性分析的结果,各个系统需要制定详尽具体执行计划和执行方案,在执行方案执行过程落地过程中的需要明确的负责人、完成事件、执行细节、回退方案等等内容;第四,将内部数据标准部门定义后的数据标准进行系统化管理,并将数据标准和系统的数据项进行映射管理;第五,通过数据管理平台的数据质量规则配置检测,预警实际的数据项和标准的差异。基于以上配置的结果,我们推进公共维度项的检测,比如行政区划、行业类别。数据标准落地实施前,可以通过数据质量检查任务来考察源系统数据的情况;标准落地实施后,也可以通过数据质量系统来监督标准落地是否符合规范。

  (4)数据资产生命周期管理:数据资产管理,需要从数据资产的产生到数据资产服务整个生命周期的管理,实现数据资产的价值化管理。

  由于行业内已有相应的三个子系统的集成,且有些市场化产品可以实现在其功能框架下,再进行二次定制开发,因此,在产品选择时,我们需要一并考虑数据服务需求管理功能,所以应该在前面三个系统初具规模之后再开始考虑建设。

  在数据共享层面,在底层的数据库表设计方面,各子系统要统筹考虑,避免数据重复存储,导致信息的冗余和不一致。由于元数据一般建设较早,信息采集的范围也较为广泛,因此建议以元数据管理系统为基础,纳入数据质量和数据标准的数据,在整个数据管控体系下,实现数据层面的共享。

  在功能复用方面,要考虑各子系统设计时要遵循总体功能架构,一些通用功能可以通过服务接口的方式被其他系统所调用,避免重复开发。调用原则一,数据标准可以调用元数据系统影响性分析接口,进行数据标准在执行过程中的影响评估;数据质量可以借助元数据的血缘分析进行质量问题的溯源。调用原则二,数据标准的检查可以借助数据质量检查体系来实现;元数据中可以访问到字段的数据质量情况作为技术元数据的丰富。调用原则三,数据标准的规范定义可以导入到数据质量规则库中。调研原则四,为四个模块的统一门户,关于用户、权限、角色的管理都整合在该平台上,其他系统需要就通过接口调用的方式。

  5.4商业智能化建设评价

  应用数据管理成熟度模型的理论和指标框架,来评估商业智能化规划建设落地,能清晰的提供当前和未来状态之间的差距。AMC公司的商业智能化建设评价是伴随整个商业智能化建设过程,商业智能建设过程是一个不断循环迭代的过程,一个从无到有,从有到优的过程,在整个建设过程,我们期望通过运用数据管理成熟度模型的评价体系,跟踪系统规划、指导数据设计、完善落地执行。生成一套完整的商业智能化架构体系和流程方法,建设一套完整的定性化和定量化的指标体系跟踪商业智能化的建设过程。

  5.4.1商业智能化建设评价设计

  商业智能化的规划落地过程,是系统解决方案、软件开发、产品集成的过程,也是企业从规划建设数据收集数据、集成数据、处理数据、分析数据到集成数据服务能力的过程。以数据管理成熟度(DMM)模型二级以及三级的关键域作为出发点,构建AMC公司商业智能化的评价指标,来评价商业智能化的成熟度。成熟意味着商业智能化规划、设计、开发、应用等过程能力的持续改进,成熟度代表代表处于某个层级的主要特征。每一等级的实现是为下个等级的实现奠定基石。过程改造优化的潜力在不断的进化,才能充分发挥。

  在商业智能不断优化改造的过程中,为优化改造提供一个阶梯式的进化框架,来实现逐步优化的过程。如图5-4商业智能化应用服务能力评价体系,以DMM体系为蓝本,结合AMC公司的数据管理理念和管理现状,由AMC公司集团数据管理部牵头各部门主要部门负责人通过定义的评价体系。

  图5-4 AMC公司商业智能化应用服务能力评价体系

  依照上图评价体系由5大领域,20个能力项组成组成的二级评价体系,依据DMM评价体系的细化内容和指标的可实现性,在项目的实施过程进行了丰富化。将定性评价指标集成在了数据管控平台。

  5.4.2商业智能化建设评价过程

  商业智能化评价不可能对企业所有智能化规划落地规划进行全面的评价。评价体系着眼于全局,而评价过程着手于具体关注的目标和问题。因为所有的评价都需要耗费更大的时间、人力、物力成本。本次评价聚焦商业智能化落地数据交换平台项目优化、数据仓库平台的优化的建设为评价。主要采用IDEAL方法跟踪商业智能化优化、设计、落地执行情况以及在整个建设过程的评价管理。IDEAL方法评价方法,包含启动改进优化工作、诊断问题过程、建立改进过程的机制、实现改进的措施和推进改进。

  第一阶段,启动阶段initiating phase,依据AMC公司当前商业智能化建设的核心问题和未来商业智能化规划,构建了商业智能化的整体框架以及数据建设、数据集成、数据服务等数据全流程生命周期管理体系。商业智能化的总体架构规划在4.4.1小节进行清晰的阐述,在整个商业智能化规划落地也是分阶段、分步骤进行落地,本阶段重点实现数据交换层、数据核心层优化,那么建设评价初始阶段也将围绕这两部分内容进行评价目标的设定。

  第二阶段,诊断阶段diagnosing phase,通过对AMC公司商业智能化建设现状进行考察调研,目前商业智能化进程属于数据管理的受管理级,受管理层级的数据管理建设的典型特征是企业意识到数据建设的重要性,并且进行了宏观的数据架构规划、数据管理流程的建设,同时也尝试着整合业务系统的数据,设计了相关的主数据,比如客户主数据、机构主数据、项目主数据。这个阶段的典型问题数据质量、数据孤岛、数据指标不一致以及业务优化缺乏数据驱动力,依然是这个阶段首要解决的问题。

  第三阶段,建设阶段establishing phase,建立起基础的商业智能化架构,逐步的落地商业智能化的子功能系统,包括各个子功能系统间对接协同应用,定义过程改进策略和目标。这个阶段不仅需要明确改造的目标和策略,还需要提前设计针对这些策略和目标可量化的评价指标。

  第四阶段,行动阶段acting phase,实施改进优化。在各个模块实施优化过程中,以项目为单位提交相关的功能改造需求说明书、子功能模块的架构设计以及实施计划。在AMC公司,有两个职能部门数据规划处和项目PMO通过对各个项目在启动阶段提供就的需求规格说明书和项目计划,来分别评估数据建设内容是否偏离规划、项目执行过程中实现风险。以项目概念设计阶段的内容和计划作为基准,来跟踪评价后续逻辑设计阶段、物理化阶段实现的内容。

  第五阶段,推进阶段leveraging phase,每个模块的数据项目推进上线后,在项目管理层需要提交上线运行情况和在公共平台进行推广,每个评价组需要提供项目建设评价和数据应用评价指标数据。对于项目评价的数据,在项目全生命周期的定性评价数据和项目投入产出的定量数据,项目的数据评价在于考核项目的投入产出情况,项目建设目标和实现内容的偏差情况。数据应用评价更多的考核数据建设的应用价值,并依据数据应用情况对数据进行相应的数据生命周期的管理。

  5.4.3商业智能化建设评价结果

  从商业智能化问题着手,提出综合的落地解决方案。商业智能化优化应用涉及从数据化战略到数据应用价值实现的全过程。基于商业智能化的建设阶段,从优化解决方案到落地实现,还需要一个不断调整和修正的过程。商业智能化建设评价需要从两个方面进行评价,一方面是从商业智能化项目建设角度进行评价,另一方面是从商业智能化实现成熟度进行评价。

  (1)商业智能化项目评价

  AMC公司先后起10几个数据分析类平台优化项目,优化项目有数据集中交换平台改造优化、数据仓库平台的改造优化、管理会计升级改造优化、风险管理集市、客户内部评级改造、监管报送集市优化、数据标准落地实施等等项目。目前从项目第一期的实施阶段来看,只有数据集中交换平台改造优化项目、数据仓库平台改造优化、数据管控项目进入一期项目收尾阶段。

  目前数据集中交换平台已搭建完成,并已经实现1000多个接口数据的集中抽取,支持应用集市5个,同时实现了业务系统间的调度任务自动触发,进行数据统一分发管理,实现内外部数据的实时数据抽取、智能分发配置、智能分发检测。新平台上线后,外围数据平台实现了数据统一接收的并行切换,统一切换后,生产系统稳定运行,同时,下游应用处理时间大部分提前,比如,综合统计报表和指标每日11点才能全部展现出来,经过平台切换后,上午点就可以展现出来。支持新平台上线后,基于数据集中交换平台结合自动录入工具,实现了手工数据的自动收集,和规则校验核查。目前分析到的手工数据实现系统化、自动化管理,提高业务运行效率,提升了数据质量。

  数据仓库平台建设一期完成后,整合数据层一共建设了300多个实体,汇总模型层建立70多个应用实体,这些基础表主要支持监管集市、财务集市、客户风险预警集市、智能知识图谱应用层、综合应用报表集市层的公共数据应用。在项目实施的过程中,也发现新的数据问题,比如,财务集市进行成本分摊时,部门属性缺失导致,到部门粒度的分摊费用出现问题,成本费用分摊出现问题后,会影响后续的部门绩效考核无法进行,在发现问题后,推动业务部门和科技部门对历史问题数据进行逐条确认修复,后设定数据稽核规则进行校验核查。这样的数据化运营分析,已经从业务分析到数据应用建立起完整的数据流程和基础核验保障体系,只需要不断的优化数据和推进数据应用场景分析,将数据化运营转化为智能化的运营。

  数据管控平台项目建设一期完成后,已经实现三个核心业务系统的元数据项收集,共计500多个实体,20000多个属性项的收集,实现数据仓库平台内部核心表收集150个,5000个属性项收集,150个映射关系收集。通过对这些属性项的数据管理,对关键的表数据质量规则配置校验,目前数据质量规则校验项有约150个。通过规则配置发现业务手工处理问题50多起,通过数据质量校验规范业务流程处理,规范数据有效维护。

  数据分析平台基础数据架构和建设管理流程已初步搭建完成,需要依据未来业务需求,逐步完善数据的收集整合,分析功能模块化建设,以支持未来更多的数据场景化数据分析需求。

  (2)商业智能化成熟度评价

  依据DCMM标准的5个数据能力域评估后续商业智能化成熟度的评价蓝本,对商业智能化成熟度量化评估进行重新规划,对原DCMM成熟度的项目进行了部分拆分和合并。重新规划后的评估体系详见图5-4 AMC公司商业智能化应用服务能力评价体系。主要包括数据架构、数据标准、数据应用、数据质量、数据资产管理五大数据管理域。

  对数据架构管理域下的每个能力项都进行定量和定性综合评估,以数据架构管理域下数据采集能力项为例,定性评估主要包含数据采集的标准是否有效执行、流程是否完善、数据采集工具是否便利等等项目的按季度周期在线调研,需要参与的人员全员反馈。定性评估主要是可进行的数据采集接口的出错率、跑批窗口时间、接口使用率、接口应用时长等等指标,这些指标可以在系统中简单配置,就可以实现的定量评估。

  通过对数据架构、数据标准、数据应用、数据质量、数据资产管理五大数据管理域阶段性评估,当前数据采集和数据集成能力项评估已经实现了稳健级别,并且逐步实现量化管理级;在数据标准管理域、数据应用管理域、数据质量管理域、数据资产管理域基本实现受管理级别。

  对于数据质量管理域,已打通数据质量从上到下的一条问题解决路径和管理办法,并实现重要表和重要指标的统一规则管理,核心数据实现了统一的管理,提升了数据质量,奠定了数据应用和分析的基础;对于数据应用管理域,之前都分部门管理,新建系统后,需要新平台应用迁移上线,老平台应用逐步切换下线,在并行期间,数据应用管理域的相关能力项还待评价和完善;对于数据资产管理域,已实现相应管理流程推进和评估指标的建设中。

  评估过程是问题自发现的一个过程。基于整个定性和定量评价结果来看,在数据质量、数据安全标准、数据标准三个方面仍需要进一步的加强管理,在这些方面建设滞后的主要原因,还是数据意识薄弱、数据应用能力差。因此在数据平台建设的过程中,要边建设边推广,让更多的业务参与到数据的建设中。最后,通过数据能力成熟度的评估,能有效的发现存在的内部管理系统问题、数据建设问题以及数据资产管理和数据应用价值方面存在的不足,明确了下一步改进的方向,为数据资产的价值变现和提升奠定了基础。