Hadoop人才需求高涨 你准备好了吗？

在本周于纽约举行的Hadoop全球大会上，众多分析师与IT管理者一再强调目前企业所面临的主要挑战之一就是在部署Hadoop方面人才匮乏。他们甚至表示，只要技术娴熟、堪当重任，企业愿意为这类员工缴纳健康保险。

目前相关人才之短缺从以下事例中可见一斑：来自JP摩根大通公司以及eBay的IT高管们在会上发展主题演讲，以借机汇集观众。

eBay公司体验、搜索与平台部门副总裁Hugh Williams向观众们表示，目前他们正在诚意招聘Hadoop专业人员，并热情邀请感兴趣的朋友与他面对面进行交流。

而JP摩根大通公司总经理Larry Feinsmith则半开玩笑地声称，他们不仅乐意雇用合格的专业人士，更会提供比eBay高出10%的优厚待遇。

在企业内部，“Hadoop可谓次世代的数据仓库，应该被看作新型数据源，”Forrester研究公司分析师James Kobielus如是说。“能够熟练使用Hadoop的人才理应获得更理想的薪酬，”因为他们对企业的帮助极为巨大。

比起当下常用的传统数据库管理系统，Hadoop使得企业可以存储并管理更为庞大的结构化与非结构化数据卷。

越来越多的企业开始试探性地摸索这一技术，旨在为像博客、点击流数据以及社交媒体内容这样数据量甚巨的服务提供存储及分析功能，以期获得更进一步的客户及业务洞察能力。

Kobielus认为，随着企业部署量的增加，此类分析技术人才的身份也必然要水涨船高。而且很多领域的专业人士都有潜力在Hadoop上大显身手，例如具备多元统计分析、数据挖掘、预测建模、自然语言处理、内容分析、文本分析以及社交网络分析等职业背景的技术人员。

“更加广义的大数据——特别是在Hadoop当中——需要管理者具备高级分析领域的工作经验，例如使用像MapReduce及R这样的新生代方案处理预测及统计建模，”他说道。他同时补充说，以上这些正是数据分析师或数据科学家在Hadoop环境中经常要应对的结构化及非结构化数据，在它们的帮助下企业能够显著提升洞察力及商务智能性。

Hadoop赢得的广泛关注也给企业带来了对Hadoop平台管理专家的刚性需求，Kobielus表示。他们工作是负责Hadoop集群、安全及管理，并对其进行优化以确保集群对企业的可用性。Hadoop应用程序之所以能够顺畅工作，靠的是“这些专家为其搭建及优先的运行平台”，他说道。

“原先负责管理Teradata及甲骨文Exadata的数据库管理员往往正是意图向Hadoop集群管理进发的主要群体，”他说。“他们会意识到这是一片全然不同的天地。”此外，存储管理专家也不可或缺，他们所做的工作能够帮助Hadoop环境与现有传统数据库技术相结合。

目前对Hadoop专业人员的需求主要分三大类：数据分析师（又称数据科学家）、数据工程师以及IT数据管理专家，Martin Hall如是说。他是Karmasphere公司总裁，该公司的主要经营项目正是为Hadoop环境开发软件产品。

Hall认为，数据管理专家的职责在于选择、安装、管理、规范以及扩展Hadoop集群。正是这些专家决定了Hadoop是应该立足于云还是采取预置模式，包括供应商该如何选择、使用哪一款Hadoop分布方案、集群规模以及被用于运行生产应用程序还是用于进行质量测试等。这一职位应该具备的技能，与负责传统关系数据库与数据库环境类的任务颇为相似，他指出。

同时，Hadoop数据工程师还要负责创建数据处理工作以及建立分布式MapReduce算法，以供数据分析师使用。那些在Java和C++等领域技能水平较为突出的专业人士能够在企业大规模部署Hadoop的浪潮中寻得更多机会，他说道。

第三类专业需求则是在SAS、SPSS以及以R为代表的编程语言等方面具备丰富经验的数据科学家，Hall指出。此类专业人士能够将建立、分析、共享以及智能整合加以集中，并存储于Hadoop环境当中。

就目前来看，Hadoop领域的人才短缺意味着企业会更加依赖于服务供应商提供的部署技术。支撑这一论点的一大迹象是，在专业的咨询及系统集成行业内，专攻Hadoop实际应用带来的收入要远远大于Hadoop产品销售所带来的收入，Kobielus如是说。

像Cloudera、MapR、Hortonworks以及IBM这样的企业如今已经在提供Hadoop的相关培训课程，我们应该充分利用这些资源，通过建立Hadoop卓越中心使自己的企业获得最大收益，他提醒道。