大数据2014年难题 数据开放仍是大问题

“大数据”从2012年预热,到2013年被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场“泡沫”。2014年,大数据将面临的问题有哪些?

大数据从“概念”走向“价值”,基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业――这是中国计算机学会大数据专家委员会对“大数据”2014年十大趋势预测中的内容。在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等。同时,大数据专家委员会预测,2014年,互联网和电子商务、金融(股市预测、金融分析)、健康医疗(流行病监控和预测等),生物信息、制药等方面将会有令人瞩目的应用。刚刚过去的2013年,大数据在医疗、金融、电子商务和城市管理等方面应用较多。


“大数据”从2012年预热,到2013年被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场“泡沫”。2014年,大数据将面临的问题有哪些?


数据开放仍是大问题


数据应用的前提是数据开放,这已经是共识。中国工程院院士、中国互联网协会理事长邬贺铨指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。


去年12月14日,在中国计算机学会青年科学家论坛(YOCSEF)上,中科院地理科学与资源研究所研究员、中国工程院院士孙九林先生回顾了我国科学数据开放共享历程:2003年,科技部在财政部的支持下设立了科技基础条件平台建设专项,科学数据共享工程作为重要组成部分纳入科技基础条件平台建设;2008年,科技部发布973计划资源环境领域数据汇交管理办法;2009年,第一批科学数据共享项目验收,转入运行服务阶段;2011年,国家科技基础条件平台组织首批认定。


孙九林介绍了美国在数据开放方面的做法。美国政府提供政策和经费保障,使数据信息中心群成为国家信息生产和服务基地,保障数据信息供给不断,利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中,把全社会带进了信息化时代。


“让每一位公民在数据、信息、知识、理论、决策、效益的各个环节上发挥才华,让民众把数据信息流动过程中和应用过程中的各种价值充分挖掘出来,国家为他们才华的发挥和价值的挖掘带好路、服务好、创造好环境。”孙九林认为这就是美国政府选择的数据信息共享的“大循环”道路。该思路在利益分配上的基本点就是让全社会受益,让整个国家受益。


目前,我国还没有国家层面的专门适合数据共享的国家法律,只有相关的条例、法规、章程、意见等。


针对于大数据利用的前端――数据共享的问题,孙九林认为,十多年的数据共享取得了很大的成效,特别是全社会的共享理念得到共识,但存在的问题仍然很突出:缺少国家层面的政策,已有分散的若干意见约束力不够,高层管理人员对数据开放共享的深刻意义的认识有待提高;现有国家数据共享平台难以M足国家发展和科技创新对数据资源的需求;缺少数据开放共享的专职队伍和相应的数据专家以及管理人才;缺少对专职数据共享服务人员的合理评价机制和标准等等。


急需“国家大数据战略”宏观统筹


“不要被大数据(BigData)的‘Big’误导,大数据更强调的不是数据大,而是数据挖掘。”在第十届国家信息化专家论坛上,邬贺铨院士指出,大数据需要更强调数据挖掘利用,关键的是要有国家大数据战略。


邬贺铨提出,需要制定国家大数据发展战略,大数据是一个应用驱动性很强的服务,其标准和产业格局尚未形成,这是我国跨越发展的机会,但切忌一哄而起在目的不明的情况下到处建设大数据中心,到处搞“数据房地产”,而是需要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。同时,我国需要尽快制定“信息保护法”和“信息公开法”,既要鼓励面向群体而且服务于社会的数据挖掘,又要防止针对个体侵犯隐私的行为,提倡数据共享又要防止数据被滥用。


中国计算机学会专家委员会指出:大数据时代有两点非常有利于中国信息产业的发展,第一是大数据技术发开源为主,迄今为止没有形成技术垄断;第二点,中国的人口和经济规模决定了中国的数据资产规模全球最大。因此,政府、学界、产业界和资本市场应该通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,释放大数据的巨大价值。


目前已经有一批企业开始用数据创业。在国外已经有不少用数据提供服务、做数据分析、进行可视化研究的公司,有些已经取得不错的业绩,甚至有很好的前景而拒绝大公司收购。有人预测,如果国内互联网创业者,能从海量的“垃圾”信息中嗅出些端倪,找到某个切入点,没准能成为行业的佼佼者。不过,现在在国内找出个像样的“大数据”初创公司并非易事;但也有人认为,正是有这样的空白存在,才让人看到机遇。


各国大数据人才紧缺


大数据人才无疑是紧缺人才。Gartner咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预计,美国到2018年深度数据分析人才缺口将达14万~19万人,能够分析数据帮助公司获得经济效益的技术及管理人才有150万人的缺口。中国能理解与应用大数据的创新人才更是稀缺资源。


IDC(互联网数据中心)发布预测报告称,2017年大数据技术和服务市场将增至324亿美元,实现27%的年复合增长率。此外还预测基于大数据的决策解决方案将开始取代或影响知识工作者角色,这势必引发人才转型。


面对大数据人才的短缺,各国如何在培养数据科学家和数据工程师?《2013中国大数据技术与产业发展白皮书》是由中国计算机学会大数据专家委员会历时半年多编写的,其中专门梳理了对大数据人才的培养。


在我国,香港中文大学从2008年起设立“数据科学商业统计”科学硕士学位;复旦大学从2007年起开设数据科学讨论班,2010年开始招收数据科学博士研究生,并从2013年起开设《数据科学》课程;北京航空航天大学于2012年设立大数据工程硕士学位。


在美国,加州大学伯克利分校从2011年开设《数据科学导论》;伊利诺伊大学香槟分校从2011年起举办“数据科学暑期研究班”;哥伦比亚大学从2013年起开设《应用数据科学》课程,并从2013年起开设相关培训项目,还计划从2014年起设立硕士学位,2015年设立博士学位;纽约大学从2013年秋季起设立“数据科学”硕士学位……在英国,邓迪大学从2013年起设立“数据科学”科学硕士学位。


大数据专家委员会认为,从目前各国的人才培养来看,数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能,具有较宽的知识面,具有独立获取知识的能力。复旦大学的课程设置强调了数据科学家是研究数据的科学家,而不仅仅是一个数据工程师或者数据分析师。

大数据2014年难题 数据开放仍是大问题

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)

相关推荐

  • 智慧城市进入“深水区”,新机遇新挑战新路径何在?

    日前,在由中国信通院联合京东云主办的“CAICT TALKS与谈云说AI・智慧城市高端对话”上,多位专家表示,当前我国智慧城市发展已经进入“深水区”,要牵好数字政府建设这个“牛鼻子”,以人民需求作为出发点,坚持目标导向,积极解决创新缺乏、观念障碍等难点、痛点。

    2026年3月14日
  • 从1万亿到3万亿,如何“入圈”大数据产业?

    就目前而言,大数据产业指的是以数据生成、采集、存储、分析等为主的战略性新兴产业,是激活数据要素潜能的关键支撑,是加快数字经济发展的重要力量。

    2026年3月14日
  • LED显示屏六大领域 应用趋势迎增长

    经过2015年的发展,一些细分领域的LED显示屏应用前景开始初现端倪,那么2016年,具备应用前景的LED显示屏产品到底有哪些呢?

    2026年3月14日
  • 2016智慧城市将迎爆发期 运营商如何发力

    目前,地方政府越来越注重引进社会资本,采用联合运营的多元化发展模式,企业开始采取抱团的方式投资智慧城市,受到地方政府的欢迎。市场人士预计,2016年智慧城市将迎来爆发期,从2016年开始,每年可撬动千亿到万亿的市场规模。那么,对于运营商来说,智慧城市建设的发力点有哪些?运营商有哪些能力优势可利用?如何进行更前瞻的设计?

    2026年3月14日
  • 安防与大数据不能不说的九个发展趋势

    探索大数据安防,最核心是要把握大数据给安防行业带来哪些挑战,选择哪些存储方式去解决数据管理的问题。然而,应用才刚开始,监控存储格局也将在大数据时代出现更好的改变。

    2026年3月14日
  • 视觉处理技术发展助力物联网视频应用更加智能化

    在用摄像头收集数据并且上传到云端的时候,有一个很大的问题就是如何分辨哪些数据是可用的,哪些是噪声信号?视觉处理就是解决这样一个中间环节问题。

    2026年3月14日