2016年6月8日,大数据技术研讨会在国家超级计算深圳中心二楼顺利开展。出席研讨会的来宾有深圳市交委、公安、卫计委、管委会等政府部委领导,中科院先进院、深圳大学等科研单位代表,深圳前海信息技术有限公司、SAS软件(北京)有限公司和深圳市汉云科技有限公司等大数据企业。
会上,行业专家就大数据的技术、应用和面临的挑战发表各自的看法,都表达了对大数据产业的普遍关注和重视。会议上,我司总裁王界兵博士向与会嘉宾分享了公司产品和技术,以及他本人的大数据时代数据观。
强调Hadoop先进性 2020年市场占比增至50%
会议上,王总首先介绍了Hadoop在大数据市场中的地位。目前基于Hadoop的大数据系统占有1/4市场份额。 Hadoop拥有完整且健康的生态圈,从数据源接入、数据采集、数据处理到数据使用、分析、挖掘都有先进解决方案及工具支持,这些都将确保Hadoop的市场份额到2020年将攀升至50%。
前信闪电大数据平台 提供全面大数据解决方案
前海信息专门从事基于Hadoop2.0的大数据系统产品研发,主打产品前信闪电大数据系统是一套企业级、全中文、分布式的大数据平台系统,可以提供给用户在业务不下线的情况下对数据存储和计算能力进行集群的横向扩展,同时用户可以通过友好交互的可视化界面对数据进行全方位的综合使用。前信闪电大数据系统可以对各种结构化和非结构化数据在分布式数据库进行有效存储,具有卓越的事实数据流处理能力、SQL查询、全文搜索和数据分析挖掘能力,同时集成了业界最快的基于内存的并行数据处理引擎Spark,拥有世界顶尖的集群安全技术,能为用户提供各个层面上的平台安全保护,是业界功能最全面、性能最强大、操作最友好的企业级可视化全中文大数据平台系统。
提出“数据湖”理念 高效使用大数据
大会上,王总还分享了他的大数据时代数据观,重点强调了大数据中的“数据湖”概念。王总表示,过去的数据都散落在各个业务系统,彼此分割独立、没有组织没有管理,无法查询,获取价值更是难上加难,就像一大片数据沼泽地,让人望而生怯。前信的“数据湖”概念是将全体数据在保持其原始形态的条件下汇聚至大数据系统,然后建立原始数据的沙盘,通过数据管理平台建立元数据目录,对所有数据的血统和生命周期进行有效管理,使得数据可被查询、被追朔。“数据湖”概念的核心是:数据写入大数据系统时没有schema,只有数据被用到时才按需建立schema,这是对大数据的最高效使用方式之一。
保障用户隐私 增强数据共享意识
在与卫计委、交委等部委领导交流过程中,大家普遍对政府数据共享和隐私表示关注。王总认为前海信息作为大数据产品公司,无意将政府数据占为己有,而且目前的数据脱敏工具保证了数据在交付分析之前通过不可逆处理可以实现高度脱敏,从技术层面可以完全保障用户的数据隐私,希望政府职能部门能够打消疑虑并增强数据共享的理念,真正让数据造福百姓。
转变观念 重视价值挖掘基础工作
王总还与在座嘉宾探讨大数据目前存在的一种思维,即一谈到大数据就是数据建模、分析和挖掘。其实数据的整理、清洗、融合、建仓也是大数据的关键,这一阶段的工作其实是最高难度、最耗时的,对未来数据分析的影响也最大。建立一个高效的大数据“数据湖”,就是为价值挖掘提供一个真正的“聚宝盆”!
此外,王总分享了公司的人才情况、产品优势、服务价值、成功案例等,得到了在座嘉宾的积极肯定。