Hortonworks(HDP)开发者认证-考试纲要-Java-优质IT资源分享社区

admin
管理员
管理员
  • UID1
  • 粉丝29
  • 关注4
  • 发帖数581
  • 社区居民
  • 忠实会员
  • 原创写手
阅读:263回复:0

  Hortonworks(HDP)开发者认证-考试纲要

楼主#
更多 发布于:2016-06-02 20:27

本项目是

Hortonworks开发者认证官方文档的中文翻译版,Hortonworks致力于创造一个全新的大数据处理渠道来满意大数据处理和剖析的各个运用场景,它组合了大数据渠道运用的各个组件,

比方Hadoop、Hbase、Hive、Spark等等一些列的组件, 它装置方便运用便捷, 而且已经在2000节点以上的节点上商用.

本次翻译首要针对对Hortonworks感兴趣和致力于从事大数据方法开发的人员供给有价值的中文材料,期望可以对我们的工作和学习有所协助。

因为我公司鼓舞我们考Hortonworks认证(呵呵,公司出费用),于是今天简略的看了下官方考试纲要,感受还不错,故翻译了下供我们参阅学习,本次翻译并没有咬文嚼字,

而是依据我自己的了解进行翻译, 因为本人才能有限不免有些当地翻译不到位,还期望我们体谅,一起也鼓舞我们去看官方文档。

根据真知灼见的认证

认证概述

Hortonworks重新规划了它的开发者认证程序,

为了创立一个经过在Hortonworks(HDP)集群上亲身操作所获取的专业知识的认证系统, 而不是答复多项挑选疑问.

HDP开发者认证考试(HDPCD)第一个对比新颖的当地是亲身实践的, 根据性能的考试, 它规划的意图面向那些工作中常常运用像 Pig, Hive, Sqoop

and Flume的开发者.

认证(考试)意图

开发者认证的意图是为了给安排和公司供给一种区分是不是是一个合格的大数据运用开发者,

这种认证实在开源的HDP渠道对Pig, Hive, Sqoop and Flume组件对数据的存储、运转和剖析的运用.

考试描绘

考试首要涉及到三个分类:

数据获取

数据变换

数据剖析

考试是在HDP2.2版本上面进行, 经过 Ambari 1.7.0来进行办理, HDP2.2包含

Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以拜访HDP 2.2

集群并在集群上进行一些列使命操作.

考试意图

阅读完结下面使命, 它包含一些指向文档和资本的连接

怎样注册

www.examslocal.com 网站创立一个帐号. 注册以后登陆, 挑选“Schedule

an Exam”, 然后进入“Search

Here”输入“Hortonworks”进行查找,然后挑选Hortonworks开发者认证考试.

考试卷采购以后一年以内有用.

时间

2小时

模拟考试

Hortonworks官方供给考生的模拟考试和认证考试的环境和使命是相似的 . 点击

[Practice Exam] 下载装置开端模拟考试.

考试及格状况说明

经过

(MQC)认证的考生需求经过开源的Hortonworks数据渠道中的Pig、Hive、Sqoop和Flume对数据进行提取,变换和剖析

Prerequisites

想获取HDPCD认证的考生需求完结考试纲要下面的一切使命.

言语

考试言语是英文

Hortonworks大学

Hortonworks 大学是你的专业辅导关于Hadoop训练和认证.

考生可以经过揭露课程和非揭露课程是进行学习. 课程联系经过实在的Hadoop环境演示着手实验来进行.

HDP开发者考试的意图

HDPCD考试的考试需求完结下面每项操作:

类型使命源(s)

数据获取经过Hadoop

Shell把本地文件上传到HDFShttp://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

运用Hadoop

Shell在HDFS上创立一个新的目录http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

从一个联系型数据库中导入数据到HDFShttp://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

导入联系型数据的查询成果到HDFShttp://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

从一个联系型数据库中导入数据到一个新的或许已经存在的Hive表里http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

HDFS里边刺进和更新数据到联系型数据库里边http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

给你一个Flume装备文件,发动一个 Flume

agenthttps://flume.apache.org/FlumeUserGuide.html

给你一个装备好的 sink 和source, 装备一个 Flume 固定容量的内存

channelhttps://flume.apache.org/FlumeUserGuide.html

种类使命源(s)

数据变换写出并履行一个pig脚本https://pig.apache.org/docs/r0.14.0/start.html

加载一个没有schema信息数据到Pighttps://pig.apache.org/docs/r0.14.0/basic.html

加载数据到Pig里边并相关一个schemahttps://pig.apache.org/docs/r0.14.0/basic.html

从Hive表里边加载数据到Pighttps://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore

经过Pig把加载的数据格局化https://pig.apache.org/docs/r0.14.0/basic.html

变换数据匹配一个给定的Hive

schemahttps://pig.apache.org/docs/r0.14.0/basic.html

对 Pig

中数据进行分组https://pig.apache.org/docs/r0.14.0/basic.html

运用Pig移除记载里边相关的空值https://pig.apache.org/docs/r0.14.0/basic.html

把 Pig

中的数据保存到HDFS中指定目录里边https://pig.apache.org/docs/r0.14.0/basic.html

Pig中的数据保存到Hive表里https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore

对Pig数据进行排序输出https://pig.apache.org/docs/r0.14.0/basic.html

把Pig中相关重复数据移除https://pig.apache.org/docs/r0.14.0/basic.html

对Pig

MapReduce指定reduce使命数量https://pig.apache.org/docs/r0.14.0/perf.html

运用Pig进行相关操作https://pig.apache.org/docs/r0.14.0/basic.htmlandhttps://pig.apache.org/docs/r0.14.0/basic.html

经过Pig

join操作生成一个副本https://pig.apache.org/docs/r0.14.0/perf.html

运转一个Pig 使命经过

Tezhttps://pig.apache.org/docs/r0.14.0/perf.html

在一个Pig

脚本内,经过注册一个Jar来运用界说的函数https://pig.apache.org/docs/r0.14.0/basic.htmlandhttps://pig.apache.org/docs/r0.14.0/udf.html

在Pig 脚本内,

运用界说的函数界说一个别号https://pig.apache.org/docs/r0.14.0/basic.html

在一个Pig 脚本内,

履行一个用户界说函数https://pig.apache.org/docs/r0.14.0/basic.html

类型使命源(s)

数据剖析写并履行一个HIve查询https://cwiki.apache.org/confluence/display/Hive/Tutorial

界说一个内部表https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

界说一个拓展表https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

界说一个分区表https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

界说一个桶表https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

经过查询数据界说一个表https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL)

运用ORCFile

文件格局界说一个表http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/

创立一个新的 ORCFile 表从一个非-ORCFile文件的 Hive

http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/

为Hive表指定一个存储格局https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

为Hive表指定一个分隔符http://hortonworks.com/hadoop-tutorial/using-hive-data-analysis/

加载一个目录数据到Hive表中https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

从HDFS目录中加载数据到Hive表中https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

把查询的成果加载数据到Hive表中https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

加载一个紧缩数据到Hive表中https://cwiki.apache.org/confluence/display/Hive/CompressedStorage

在Hive表中更新一行记载https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

Hive表中删去一条数据https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

刺进一条数据到 Hive

表中https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

对Hive表进行Join操作https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins

经过Tez来履行Hive查询http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/

运用向量化来履行 Hive

查询http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/

输出Hive履行计划操作成果https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

对Hive进行子查询操作https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries

输出Hive计算、排序、穿插、多重操作的查询成果https://issues.apache.org/jira/browse/HIVE-1402

设置Hadoop 或Hive

装备特点经过Hive的查询成果中https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

优质IT资源分享社区为你提供此文。

本站有大量优质Java教程视频,资料等资源,包含java基础教程,高级进阶教程等等,教程视频资源涵盖传智播客,极客学院,达内,北大青鸟,猎豹网校等等IT职业培训机构的培训教学视频,价值巨大。欢迎点击下方链接查看。

java教程视频

优质IT资源分享社区(www.itziyuan.top)
一个免费,自由,开放,共享,平等,互助的优质IT资源分享网站。
专注免费分享各大IT培训机构最新培训教学视频,为你的IT学习助力!

!!!回帖受限制请看点击这里!!!
!!!资源失效请在此版块发帖说明!!!

[PS:按 CTRL+D收藏本站网址~]

——“优质IT资源分享社区”管理员专用签名~

本版相似帖子

游客