EEPW论坛

过去几年当中，大数据技术已经迎来长足发展；从一个乐观积极的流行词汇变成人见人恨的疑难杂症，关注重点也由纯粹的数据规模转向对类型及速度的追求。所谓“大数据”及其相关技术在经历了高度重视、详细甄别以及吐故纳新之后，实际成果很可能与我们的认知存在较大差异。

如今自动化与智能化已经成为整个世界运转的新方向，这一趋势在简化数据发掘工作的同时、也把智能化特性引入万事万物——从移动应用到交通系统无所不包。大数据的“大”绝不是最终目标，各类新型处理模式的涌现旨在将日益增长的数据交付量转化为智能化成效。所谓分类也不是最终目标，它的意义在于帮助我们实现大规模数据量化的同时、更为深入了解我们身边的世界。

下面我将为大家带来我自己一直在关注的五****展趋势，也许有助于各位提前把握会议发言人们的探讨话题以及表述方向。如果大家有意参加此次会议，希望我的这篇展望文章能够起到抛砖引玉的作用。

1、人工智能逐渐崛起

我们拥有计算设备、我们拥有数据、我们也拥有算法：因此，我们现在已经拥有建立人工智能的技术基础。请别误会，人工智能还不像科幻小说中描述的那样恐怖、也无法真正取代人类的地位，但这项技术最终必将成为现实。由于机器学习方案的不断进步，我们已经能够通过智能手机进行语音指令识别、拥有能够预测用户喜好的媒体服务、可以在数十亿个数据点之间摸清关系脉络的软件以及善于挖掘潜在价值空间的应用程序。

IBM的沃森系统已经近在咫尺，足以为厨师们提供准确的食谱配料清单。

展望未来，针对上述领域的深入学习将帮助我们的人工智能系统变得更加实用也更为强大。在复杂数据集当中，这些模型能够提取并识别出无法通过编程实现的深入分析途径。在无人监管的情况下，深入学习项目已经能够成功把握特定对象的外观、将不同语言的词汇加以映射甚至学会主机游戏的操作规则。

2、Hadoop以坚定步伐发展为真正的平台

Apache Hadoop也许仍然只是一套分布式文件系统、MapReduce也将继续扮演执行框架的角色，但Hadoop可绝不会这样止步不前。归功于YARN等各类通用性发展成果，Hadoop集群如今已经能够针对任意数量的不同工作负载运行任意数量的不同执行框架，同时充分发挥同一套底层存储基础设施所带来的资源优势。

从本质上讲，Hadoop已经从一款面向特定任务的实用工具转变为一整套能够支持各类应用程序的真正平台。以Airbnb以及Twitter为代表的早期采用者已经从这种新型用途当中取得竞争优势，Cloudera、Hortonworks以及MapR等Hadoop方案供应商也在自身产品中引入多种新功能并支持主流Hadoop用户在某些情况下所需要的新型框架。

3、法律法规

法律制度也将成为大数据发展过程中的潜在影响因素——具体效果如何取决于大家的审视角度。就目前来看，仲裁者、立法者、监管者甚至总统都在努力弄清收集到的这批庞大数据到底意味着什么，并以此为基础勾勒出某种秩序草案。当然，要在这条湍流当中摸着石头过河并非易事，在此过程中充分发挥所有竞争优势更是难上加难。

在管理流程当中，最为棘手的难题就是如何妥善保护消费者的个人隐私；这部分信息拥有巨大挖掘潜力、足以显着改善消费者的实际体验，但同时也会带来侵犯个人隐私的巨大风险。另外，大量宣传资金也开始涌入这一新兴领域。我们希望能以最划算的价格买到食材或者新服饰，也希望能够参与DNA测绘项目并拿到99美元的回报。但我们同时也需要确保自己提供的潜在敏感信息不会被泄露给他人或者出现在不应出现的场合——例如一台公用计算机的滚动广告上。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

4、云计算

早在三年前我就说过，云计算与大数据的发展路线必将交接、碰撞，而这一猜测也已经成为现实——只是实际影响范围比我的预计更为广泛。事实上，这场浩大融合带来的最大影响几乎没有反映在Hadoop、商务智能套件或者任何其它分析软件即服务方案的实际使用能力当中。诚然，这些趋势让新兴企业及成熟公司能够更轻松地将新型工作负载迁移到云环境当中；但就我个人来说，云技术变革带来的最大意义在于为原本艰深的计算机科学引入了民主化进程。

目前一部分技术方案已经以“即服务”形式供大家使用（主要通过API实现），而且这一阵营仍在不断壮大之中。如果大家身为一位开发人员，而且希望学习Hadoop以及Elastic MapReduce的使用方法，那么如今已经有现成方案可供选择。如果大家希望能接入某种服务，例如IBM的沃森云或者MindMeld API，并需要在自己的数据当中借用其它算法所提供的人工智能层，现成方案同样多种多样。

5、为人们带来分析能力

与真正的高难度基础设施与普遍适用的算法相比，将大数据分析推向标准化并使其成为易于实现的技能似乎并不算什么了不起的成就——但这一趋势仍然有可能给我们的社会带来重大变革。只需为普通民众提供以新型方式审视身边数据的能力，就相当于为我们的生活开启了一扇通往无限可能的大门。

随着目前可供普通民众使用的工具愈发先进、我们所收集到的数据量日益拓展（其中包括来自健身器材、联网汽车以及物联网等来源的数据），这种对于自身的量化分析也将变得越来越重要。