导航菜单
文章正文
数据科学的未来
Published:2016-08-02 21:27:58    Text Size:【BIG】【MEDIUM】【SMALL

数据科学的未来

 

文:西南交通大学金融大数据研究院院长李维萍教授

    撰稿于201682

 

随着数据的无孔不入,技术和学术领域的不断研发,企业与商业的真实案例,道德规范与隐私的深入探讨,数据科学作为像其他自然科学与社会科学(法律、医学、物理、化学等)的一门学科正在逐渐被大众所认识。

数据科学领域改变以往新兴科学的简单生成,它是集社会科学,数学与统计,计算机科学,信息科学,设计与艺术为一体的交错复杂的一门新型学科,其中最常用的一个例子就是华尔街的量化分析师,他们本质上就是数据科学家,他们通过实际价格和社会科学的理论建立一些模型,然后通过各种方式方法来实证和验证这些并不一定存在的模型,大量的金融机构,金融巨头和交易员依照一定的模型来判断股市和房地产市场的走向并在相应风险评估后进行量化投资,模型是有误的,用于建立模型的假设是不成立的,轻则导致基于模型而进行的投资亏损,重则诱发整个市场的巨大波动或金融危机,这些基于不同理论的不同假设带有太多片面的理解和对大量金融整体数据缺乏认知。

近年来,利用数据在商业上取得成功的案例在不断地增加,在学术研究中利用数据制造出新的材料,发现新的规律也在日渐增多。在科技领域上,机器学习,深度学习不断在不同领域中发挥作用,越来越多的企业也意识到投资数据分析是未来的一个很重要的方向,这也是数据科学家走近人们视野的原因。数据科学家们不仅仅是简单地分析数据,深度挖掘数据来发现规律和建立模型用于帮助研究和商务决策,还要不断地更新数据,重新挖掘数据衍生的巨大价值,当然也应警惕数据科学(主要是大数据,互联网)领域的夸大炒作,这些宣传极易使人们误认为数据科学是一个灵丹妙药包治百病的商业工具。

2016年初一家美国职业信息公司Glassdoor评定数据科学家作为一类职业是全美排第一的职业,这个评价是通过职业年薪,就业机会,工作满意状态等进行的排序,无论是商业还是教育方面,数据科学的需求已是日益增加,但质疑的声音也不乏存在,因为作为一门学科,一个科学领域,数据科学自身还处在摇篮之中,还没有很清晰的理论基础和很确定的学科范围,相信在近十年随着研究人员和实践人员的不断探索,数据科学会逐步完善合理地构建。

数据科学的一个主要挑战存在于它的认知度,多数人并不知道数据科学是什么,数据科学家做什么和起什么作用,任何人都可以处理一下数据并试图建立相关性,但不是所有即使有经验的人能够确认建立足够强的相关性用于下决策。数据科学家就是这类受过训练的人,他们能够分解出数据里最好的信息用于建模和产生出有效可行的计划。数据科学比在传统意义上的数据分析要复杂得多,它采用了一个崭新的方法来更好地理解手中的数据,例如通过社会媒体收集信息,采取客户记录,网页访问者的相关行为,企业不可避免地会涉及到客户的私人信息和隐私,这些数据是否应考虑在数据分析中,数据科学学会(Data Science Association, DSA)讨论是否建立一定的职业规范与美国统计协会的规范相结合,以及其它行业的道德规范,促使数据科学家要考虑很多因素来通过数据达到相应的目的,这无形之中降低了商业机会,同时也减少了损坏公司名望的不合法操作。

数据科学未来的发展将会很大程度上依赖于数据科学家及其协会如何处理隐私和道德规范问题,雇佣一个有强烈职业道德的数据科学家会为公司省去诸多麻烦,比如欧洲国家和美国对待数据隐私的法律不尽相同。处理多国数据的数据科学家必须掌握这些细小差别并应用于数据分析和数据处理之中,而且能够有效合法地转换,有时这比得到更精准更有力的数据分析还要重要,这一细微的差别可以看出要获得一个高水平的数据科学家会有多难,人们转而去寻找更多地改进数据分析系统和建立机器来自动地完成深度解析数据,数据科学机器DSMData Science Machine)就是这样应运而生的,它是麻省理工大学的计算机和人工智能实验室研发的,DSM是设计为从大数据分析过程中去人工化特殊目的而且尽可能的从数据科学角度有自动化的机器分析。

DSM被用于三个不同的数据科学竞赛,这三个竞赛共用906个数据团队参赛。在其中两个竞赛中DSM分别作出了精确度为96%94%的胜出队的预测,而第三个竞赛中的预测胜出队的精确度维87%DSM仅用了212小时作出了预测,而人工的数据科学团队至少需要几个月的时间才能达到类似的预测精度。DSM仍处于初期研发阶段,但它们显示出了巨大的潜力,这也导致部分人认为人工智能和自动化系统能具备处理大数据解析和分析功能,从而在未来替代数据科学家,麻省理工的研究人员表示数据科学机器是人类智慧的一个互补,而不是取而代之。

目前机器加人工总是比单独使用机器或者单独使用人工效果显著,人类比机器会更有原创性和跨越式思维。企业需要雇用数据科学家,而如何判定是否雇用了一个真正的数据科学家,这个问题依旧困扰着企业。市场上依旧有大量的需求开设数据科学证书和数据科学学位,数据科学会以不同形式不同规模地改变我们整个社会,改变经济,医疗,健康,生活,娱乐等方方面面。数据科学家也会在这个改变过程中起着不可或缺的作用,为科学技术的发展,为人类活动的演变探寻一条更有效地更科学地利用数据,使用数据的学科,他们也会打破自然科学与社会科学的分界,横跨所有领域,不仅在每个学科之外,也在每个学科之中。

 (非允许请勿转载

脚注信息
金融大数据研究院版权所有
ifbf_swjtu@163.com
邮编:611756  电话:028-66367206
地址:四川省成都市高新西区西部园区西南交通大学犀浦校区X2539