Hadoop平台下基于时间与负载均衡的任务调度优化之计算机分析

第 1 章 绪论

1.1 课题研究背景及意义
近年来，互联网一直都在迅速的发展着，网络对我们的生活、工作和学习越来越变得不可缺少。它使我们的工作更有效率，学习更加方便，生活也更有质量。在现今这个互联网高速发展的时代，基本上我们每天都要在在网络上都做许多的事情，比如在电商平台购买物品，在网站上进行学习或观看视频，收发电子邮件等。网络确实给我们的生活带来了许多方便的地方。比如在各个网站上的推荐系统，它会根据我们在网上的历史信息以及兴趣爱好等，给我们个性化的推荐商品、资源和服务等。现在可以上网的手段越来越多，不仅局限于电脑，还包括手机，pad，电视以及各种智能终端等等，但是我们在使用网络的过程可能会产生大量的数据，这些数据都是自动被储存下来的。而且这些数据随着时间的增加不会减少，也是一直在叠加的。这些数据里边不仅有一些文字方面数据，还有图形，视频，声音等，这些数据的存储和加工都是在网络中进行的。海量数据的存储与加工对计算机技术提出了更高的要求，在这种情况下，云计算应运而生，而计算机技术进入了大数据时代[1]。

云计算从提出到现在，依然备受关注。国内外许多企业都一直致力于云计算的发展和研究，比如亚马逊和微软等，他们先后加入对云计算研究的行列，这些对加快云计算的发展和应用具有重要的意义。云计算其实就是资源提供者将资源虚拟化后，在网络中作为一种服务提供给用户的计算模式，与此同时，用户不会去关心具体的基本设计还有设计的过程，他们只会根据自己需要什么去申请相应的云服务即可。云计算是大数据处理的一种解决途径。随着数据量的不断增加，要想保证服务的时间，就要提高服务器的性能。而提高单个服务器的性能成本与造价实在是太高。因此云计算所采用了分而治之的思想，利用现有的廉价的计算机搭建服务器集群，把数据划分成多个较小的板块，分别让集群对这些任务进行处理，处理之后在对这些各个小结果进行汇总，并根据用户的需求生成最终的结果。这样就不仅缩短了响应时间，也降低了研究成本。MapReduce 就是一个这样的计算框架。
...............................

1.2 国内外研究现状
1.2.1 小作业的研究现状
MapReduce 对作业进行安排的方法对集群这一性能影响是很大的。这种性能主要通过下面五个指标来衡量：首先就是在公平方面，也就只能是分配给用户资源的一个公平性还有合理性；其次就是在数据方面，看数据在对应的任务安排点上完成率的高低。然后就在调度的时间方面，根据花费的时间来判断具体的效果。最后就是在调度的算法方面看能不能满足用户的最低需求。但是这些性能又是相辅相成的，它们不可分割。提高一个性能可能会导致其他性能的下降，也就是鱼和熊掌不可兼得。所以一般情况下，我们对于这种算法，进行提升的目标就是指的提升某一项或者某几项性能，但是想要计算一个作业完成的平均时间，确实每种方法都要考虑到的，每种性能都要考虑到的。
前面的很多研究者为了让系统的性能更加完善，针对具体的作业算法进行了大量的研究，进行了大量数据的测试，最终一直在改进。其中很多部分都是针对 MapReduce 这种作业调度过程中的 Map 任务的优化和改进，但是对 Reduce研究就会少很多算法方面也会简单不少，所以存在一些不足，包括小作业还有“饥饿”（小作业执行效率不高）和系统资源利用率不高的问题，另一方面是数据倾斜的方面。关于 Reduce 任务来说，小作业在执行的时候可能会受到一定的干扰。因为大作业一直在占着资源而执行不了。 对于小作业的定义来说，之所以叫小做，也是因为他的执行时间是很短的，有可能几分钟，几十分钟就完成了。比如我们常用的淘宝中就会经常执行小作业，来完成每一个任务，因为浏览量和运行量比较大每天可能要运行上万个甚至数 10 万个小作业。所以一定要提高小作业的执行效率，才能够保证很多正常程序的运行。有学者对淘宝的云梯作业进行了深入的分析和了解，发现了小作业中的执行效率不够高也不够集中。所以提出了一些改进的算法，但是这些算法可能也会有一定的弊端，比如说没有考虑到饥饿问题。所以为了进一步完善该问题，Jian Tan 在该基础上，提出了进一步的加快任务的速度来进行进一步的完善，但是这种算法却没有考虑到任务完成的时间。还有学者在后边提出了在任务上尽快缩短剩余时间的一种改进算法，这种算法也是有弊端的，在一些情况下可能会导致系统的某些资源得不到合适的利用。所以对于算法和调度来说，有必要进行深入和专业的研究，研究出一套最适合的，最完整的算法。

就集群视角而言，可将 Hadoop 划分为两种不同的角色：其一，Slave；其二，Master。若就存储数据视角而言，HDFS集群则是通过以下节点所形成的：即一个 NameNode节点以及数个DataNode节点。主节点为 NameNode，其最关键的一个在于对元数据信息进行储存； DataNode的关键功能在于对集群中的数据进行储存。 Map Reduce 框架有以下两部分所形成：其一， r TaskTracke ；其二，Job Tracker。Job Tracker独立地在主节点运行，而 r TaskTracke 则主要在各个从节点运行。主节点主要监控执行以上任务的具体状况，假使之前任务发生失败，便需要再次予以执行。如果某一 Job 作业遭到submit ，那么 Job Tracker便会把所收至的配置信息以及作业信息分发到 DataNode节点上。除此之外， Job Tracker也需要对任务进行调度且对每个Task 任务的执行情况进行监控。

那么就上述内容的阐述便可以发现: Hadoop 分布式系统体系结构核心由两部分所构成，即 Map Reduce 以及 HDFS。HDFS在 Map Reduce 任务执行时给予了以下支持：文件操作以及存储数据等。以 HDFS为基础，任务跟踪、任务分发、以及任务的完成由 Map Reduce 实现，且对并结果进行收集，两者共同地促使了Hadoop 分布式集群任务的完成。
.........................

结论
随着大数据时代的到来以及云计算近年来的迅猛发展，越来越多的企业和个人应用云计算平台来处理其海量数据。本文首先介绍了云计算的相关概念以及云计算背后涉及的关键技术。分布式处理技术是云计算平台中的核心技术。文中介绍了当前使用最广泛的 Hadoop 云计算平台，并对 Hadoop 的生态架构进行了简单的介绍，重点介绍了 Hadoop 的两个核心组件 HDFS 和 MapReduce。然后介绍了 Hadoop 的调度算法流程以及 Hadoop 平台常见的三种调度算法。