金融行业是经营风险的行业，风险控制能力是金融机构的核心竞争力。 通常，金融机构一般通过评价对顾客的信用状况来计测违反贷款的可能性，并根据顾客的风险水平来设定利率价格。
传统信用估计主要是利用历史贷款数据和财务数据分析和判断借款人违约风险的方法，尽管该方法长期应用于广泛的金融机构，但该方法的评价标准是单一的，评价结果不全面，存在一定的滞后，更严重的是基于历史数据的评价 近年来，金融机构纷纷寻找新手段，利用新技术构建新的信用风险评估模型。
大数据风控技术是一种基于大数据建模方法的信用评估系统，如数据挖掘、机器学习等，随着大数据处理技术、计算机科技和因特网技术的出现和演进而产生，目前已广泛应用于金融机构。
一、银行可以利用的大数据是什么
大数据是指“在一定的时间范围内用普通的工具无法捕捉、管理、不被处理的庞大数据的集合”。 与传统的数据集合相比，大型数据不仅具有规模和复杂性，而且大型数据包含许多非结构化数据，具有图像、视频、语音、地理位置等维度宽、经常更新等优点。 金融业尤其是银行业，近年来由于业务的积累和渠道的构建，聚集了大量的数据，成为大量数据应用的重要领域。
以银行为例，目前银行可用的大数据主要有:
二、银行大数据管理存在什么问题？
1 )数据使用效率低:数据的加工和使用强烈依赖于IT人员，无法提供自助数据服务。
2 )外部数据杂乱无章:外部数据源越来越多。 例如微博、新闻媒体、淘宝、电器商数据等这些外部数据如何整理，加工成在线正常使用的真实、正确的数据还需要进一步探讨。
显然，上述数据管理存在的问题仅仅是难以人工解决，为了有效整合利用银行积累的大数据资源，使大数据资源进一步提高银行信用评价服务，需要构建综合的大数据控制平台。
三、大数据风控制平台应该是什么样的？
大数据风格控制平台是集大规模数据处理、OLAP分析、在线分析、脱机分析、数据挖掘、数据模型和数据可视化于一体的综合大规模数据分析平台，具有基于hadoop存储、数据多维数据集的OLAP可视化分析功能 用户可以通过旅行器的简单操作完成多维、全方位的数据分析，用多种可视化方法显示分析结果，集成主要的数据挖掘算法和工具，使用户能够快速构建数据挖掘模型。
大数据风控平台的基本特点主要有三个
1 )大数据风控平台处理的数据种类繁多，维度广泛，大数据风控平台不仅重视传统信用变量，还能分析借款主体的社交网络信息等信息，为信用不足的群体提供基本的金融服务。
2 )大数据风控平台不仅是历史财务数据，借款主体的行为数据也可以在充分考察借款人借款行为背后的线索与线索的关联性的基础上进行数据分析，降低借款违约率。
3 )大数据风控平台可对模型继续进行迭代和动态调整。 机器学习技术需要重复大数据风控平台的风控模型以将原始数据转换为指标，不同模型的加权值可以基于样本动态调整，反之亦然。
四、大型数据平台的数据管理方案
构建了集数据采集、存储、检索、加工、分析于一体的大型数据平台，融合了结构化数据、非结构化数据，实现了统一数据体系结构，实现了异构数据的存储归档、信息组织、检索访问、安全控制、分析可视化、数据挖掘、数据治理等
图1银行大数据平台数据治理计划
1 .数据分层
数据是分层的，根据数据的不同，属性，处理方法，价值也不同。 如图2所示
1 )源数据:源数据是每个业务系统生成的大量业务生产数据，必须加强备份和归档，防止数据不完整和损坏。
2 )存档数据:存档数据也称为详细数据，平台需要将所有源数据捕获到存档中以形成完整的数据库。
3 )统合数据:统合细节数据，形成按主题总结的数据集市。
4 )指标数据:针对顾客、员工、管理者，计算并生成丰富内容的指标数据源，为数据挖掘准备丰富的数据源。
5 )决策支持数据:决策分析系统、智能分析系统的数据(顾客产品的推荐、顾客市场细分、销售预测、正确的营销等)。
图2不同数据层次的处理方案
2 .数据整理
2 )实时更改数据:建立专用通道，使数据能够实时加载到大型数据平台。
图3的内联数据和内联数据的整理
3 .提取数据
清洗、转换现有各种数据库中的各种数据，加载到大型数据平台上。 根据代码标准，整合数据类型，形成数据全面、标准化、规范化的数据集市。
4 .数据仓库
大型数据平台是结构化数据采用分布式技术的开源数据仓库，支持各种报表软件的访问和第三方软件集成，满足结构化数据的计算和存储需求。
5 .加工数据
大数据平台为数据定义了不同的加工任务，主要表现在以下方面
数据整合:从现有数据生成新数据，例如根据关系表设定其他维生成新的明细表等
挖掘数据:对平台数据进行相关分析、分类、聚类、回归预测等各种数据挖掘处理
计算指标:实时计算各类指标数据。 例如计算顾客活跃度、价值、忠诚度等。
6 .分析数据
大数据平台可以直观地表示数据查询、数据视图、报表等。
五、银行大数据风控平台建设方案
1 .整个系统的硬件框图
银行大数据风格控制平台基于PC服务器的部署，无需购买数据库软件或硬件即可实现时间级部署。 实现数据的并行传输、实时数据更新服务、询问数据秒的结果等的系统整体的硬件框架如图4所示。
1 )分布式计算和存储可根据数据量快速扩展。
2 )面向多应用系统，实现多数据类型和多数据源、统一数据架构，结合结构化、半结构化、非结构化数据，实现数据安全控制和统一建模。
3 )向其他应用系统提供API接口，实现第三方系统数据集成，提供各种数据服务。
4 )以数据存档为核心，全面实现数据的全生命周期管理和全数据检索、实时数据分析的可视化、交互式数据发现等。
5 )支持传统的SQL结构化数据访问和传统的BI软件集成。
图4大数据风控系统的硬件框图
2 .系统软件体系结构
大数据风控平台的软件设计理念和技术可以解决如图5所示的大容量数据存储问题、多业务数据源集成问题、多数据格式转换问题等。
1 )部分系统软件是基于JAVA开发的，运行在Windows和Linux操作系统上，节点同时运行在物理机、虚拟机、Linux和Windows上。
2 )所有后台数据服务程序都可以直接在JVM上运行，提供灵活高效的分布式计算。
3 )用户使用管理功能可以基于J2EE开发，WEB通过JSF2.0实现，扩展性高，二次开发容易。
4 )采用分布式存储和检索技术，数据集中平台最基本的要求是处理大量数据，有效地融合结构化、半结构化和非结构化数据的管理。
图5大数据风控制系统的软件架构
六、银行大数据平台产品的应用
在大数据平台中内置现有的客户统一图像，获取实时数据，实现客户的准确图像，通过迁移学习、机械深度学习理论，分析客户的360度图像，分析客户的行为习惯，进而实现客户的准确营销应用，智能推送优秀的客户资源，释放客户资源 如图6所示。
图6银行大数据平台产品的应用
1 .风险控制
银行建立了大型数据控制平台，用于信用客户欺诈对策分析、信用等级评估、信用后风险监测预警和催款等环节，着重于能够严格防范风险的个人客户或企业客户在银行体系内外的负面信息。
银行系统内的负信息包括信用卡逾期、贷款逾期、黑名单信息等银行系统外的负信息包括P2P/微额信用公司等黑名单信息、公证法的诉讼事件信息、国家行政机关的处罚信息(工商、税务、一行三会、协会等)、网上的妈妈 根据这些数据，全面评估个人客户在银行的风险水平，为银行的风险防范提供决策支持。 如图7所示
图7大数据平台产品的风险管理
2 .客户图像和用户行为分析
通过大型数据风控平台，将结构化数据、非结构化数据和半结构化数据整合到数据模型中，使外部数据和内部数据尽可能匹配，为现有客户实现更全面、充分、详细的分析。
图8顾客全面行为特征分析与指标演算
为满足在线营销与在线营销相结合的方案，数据输入按营销方式分为实时数据、批量数据、图像指标数据、复杂网络系统和顾客智能信用分析模型。
1 )实时数据:将客户的在线行为日志数据信息实时推送到大型数据平台，保存在数据模型中，实现数据的标准化、统一化，实时分析在线行为。
2 )批次:每天定时将数据整合到大型数据平台中，保存在数据模型库中，实现数据标准化、统一化的工作，加工数据。
3 )图像、指标数据运算:根据预先设定的场景，进行顾客信息的全面图像和各指标运算，获得顾客的全面特征和产品特征。
4 )构建复杂的关系网络系统，实现在线各业务渠道状况的互操作，主要实现基金资产管理平台、三方支付平台、电商/O2O平台、游戏平台、银行网申平台的互操作。
5 )建立顾客智能信用分析模型:基于全网大数据，结合大数据风控平台，重视多项业务主导，建立顾客智能信用分析。 输入:身份证号码，手机号码输出:信用评分。
根据顾客负债信息、稳定性、负信息、行为偏好、偿还能力、偿还意愿等6个维度，结合顾客旅游、社交、支付、保险、基金、资产管理、电商、非银行信用、O2O、银行信息等全网的各种数据信息，根据不同加权比重建立顾客智能信用分布。
3 .大数据产品应用的准确营销分析
通过深入的学习理论和过渡学习理论准确分析客户，获得客户来源，准确推荐资产管理产品。
1 )网上实时营销
运用数学模型算法，根据客户和客户的在线连续行为，自动修正客户图像和产品图像之间的相关情况，形成在线产品推荐服务，根据客户感兴趣的内容自动排列产品推荐，有效提高客户体验。
2 )网上交叉营销
交替推荐不同产品和业务，根据交易记录的分析，识别中小企业的客户，在远程银行实施交叉营销。
3 )在线个性化推荐
根据客户的资产管理偏好、资产规模、年龄、工作等维度，分析潜在的金融服务需求，推进有目标的市场营销。
4 )网络营销
除了内部交叉营销销售、客户忠诚度分析、销售等传统分析内容外，还需要利用大型数据平台，将在线数据与外部数据整合，构建正确的营销数学模型，寻找更多的营销机会。
5 )建立准确的营销模式；
寻找资产管理客户:对于利用大型数据平台筛选资金超过5万的储蓄客户并不定期推送资产管理产品信息的海外客户，请使用P2P平台或第三方平台推送的白名单来提供资产管理服务
寻找贷款客户:将公司内部数据、第三方房地产网络数据和移动设备的位置信息相结合，通过数据平台寻找可能购买住宅和汽车的客户群，并提供金融服务。
6 )产品创新
通过分析和提取特定数据、计算产品，比较不同客户的产品利用率、收益率，结合互联网舆论信息，为不同客户群设计不同的创新产品。
7 )产品评价系统
依据产品评价指标建立评价模型，实现对产品的系统评价，按产品指标获取数据，采用注册评价法处理数据，按产品指标反映组内产品的顺序。
dbaplus社区欢迎多位技术人员投稿，电子邮件地址: editor@dbaplus.cn