大数据_ 大数据“矿难”，以及它的灾后重建

资料来源: pix工具作者: qimono

大数据矿山

千里之堤，溃于蚁穴。 关于防洪堤的故事。

在大数据领域，万丈金山的“爬虫类”被破坏了。

大数据叫金矿是几年前的事了。 大数据叫金山，另一个叫阿里巴巴彭蕾。

从前，彭蕾请王坚帮助蚂蚁突破技术瓶颈时，“阿里巴巴的数据是金山，但我不知道怎么挖掘。 现在坐在金山吃馒头”。

现在，因为爬虫类事件，网络地图上的大数据金山发生了很多矿难。 数据的开垦会受到不少影响。 爬虫事件曾经被称为大型数据智能风控/市场营销的很多公司停止了相关业务，在相关的需求方面包括了银行。

大数据业务的停滞，直接导致部分银行部分在线业务的停止。 对有关人员来说，这完全是矿脉，灾害涉及的范围和深度很大。

灾后重建

大数据灾害发生后，我们不能因此停止金矿的挖掘，也就是说不能噎食。 灾后如何重建是亟待解决的课题。

蚂蚁有很大的数据，大的金矿，银行也有。

以前银行之所以开展在线营销和服务，是因为多利用外部数据，外部大规模数据技术成熟，无法挖掘内部数据。 后面的数据也增加到无法挖掘，银行无法挖掘。 更加困难的是，由于其基础的数据逻辑不共通，存储逻辑混乱，数据接口不一致，银行的数据矿山越大，挖掘的难易度也越高。 其实，银行也面临着“坐金山吃馒头”的困境。

基于当前的现实，即外部数据风险无法控制，内部数据难以挖掘现状。 银行应该如何从顶层设计进行大规模的数据内部重建，逐步统一数据标准(一次统一，不区别于服毒自杀)，逐步统一数据接口，使内部数据可用，开采金山。

数据过于沉淀，成为庞大的数据，旧的数据的保存和处理方法也使数据的统一变得困难。 银行新成立的金融科技子公司成立之初，可能会考虑到大型数据的顶层设计，为未来的开放式银行战略制定铺垫。

利用外部数据做出了新的选择

目前爬虫事件的风险主要来自银行外部。 因为爬虫技术的数据获取方法粗鲁，不符合规则。

那么，我们是否应该拒绝外部数据呢？

当然不是。

我们如何利用外部的大数据呢？ 除了选择合理合规的大型数据公司和项目外，还有另一种想法。

最近，南京江北新区和长沙湘江新区动荡不定。 相对一致的做法之一就是建立一个新区域的大规模数据平台。 这些大型数据平台基于当地政治企业数据和金融数据，通过云服务框架构建生态数据库，有利于经济发展的发展。

这种做法和制造数据金矿一样，无论是当地企业还是金融机构都很有魅力。

对于银行来说，在利用外部数据的基础上，与其怀疑民营企业的数据可靠性，不如考虑地方经济新区主导的政治企业的大数据平台。 但数据收集、清洗、脱敏、流通等标准亟待跟进。

最近，“制造信赖”这一块链的概念正在火上，大规模的数据矿山难给金融科学技术的发展带来巨大的信赖危机。 大数据行业的标准规范和行业监督和自律，才是行业灾后重建的关键。