曙海科技
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576/13918613812(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
   班级规模及环境--热线:4008699035 手机:15921673576/13918613812( 微信同号)
       坚持小班授课,为保证培训效果,增加互动环节,每期人数限3到5人。
   上课时间和地点
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
近开课时间(周末班/连续班/晚班):即将开课,详情请咨询客服。(欢迎您垂询,视教育质量为生命!)
   实验设备
     ☆资深工程师授课
        
        ☆注重质量 ☆边讲边练

        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
   质量保障

        1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
        2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
        3、培训合格学员可享受免费推荐就业机会。

课程大纲
 

Hadoop性能调优培训
  Hadoop性能调优培训
培训大纲
模块
课程内容
案例及实验
Hadoop参数调优
l 选择适合Hadoop的硬件配置
l Hadoop配置项优化
l 网络带宽参数调优
l 选择正确的JDK
l Hadoop作业调优
l Linux操作系统优化
l 其他配置和参数调优
l Hadoop硬件优化
l 不是所有的硬件都合适拿来直接使用
l 硬件为什么不做raid?
l 设置网络的注意事项
l 中间结果压缩对磁盘和网络的优化
l 常见异常现象及处理方法
Hive性能优化
l Hive参数优化
l Hive其他优化
l 自有软件Phphiveadmin的介绍及使用
l 对group,join的优化
l 其他参数设计
l 设定并行执行嵌套sql
l 为什么使用外部表和partition
l Phphiveadmin带来的优势和便利
精彩案例解析
案例一:那namenode 被重新格式化,datanode无法连接
案例二:硬盘损坏
案例三:错误用户启动hadoop
案例四:tasktracker重启后假死
案例五:jobtracker无故宕机
HBASE调优
l HBase配置优化综述
l 读优化中需要调整的参数
l 写优化中需要调整的参数
l Hbase-site.xml参数调优
l JVM优化中需要调整的参数
l Split & compact优化相关参数
l 表设计优化相关参数
l Hbase客户端优化相关参数
l 监控工具使用方法及注意事项
l Memstore合并设置的时机选择
l Mslab使用设置
l 合并storefile策略设置技巧
l Memstore  flush 设置时机选择
l Hbase-env.sh、Single、multi-thread、CMS使用及参数调用
l GC回收垃圾时机、GC日志打印设置
l GC阶段,region无法提供服务如何如何处理
l 安装、使用步骤、主要监控参数,如何根据参数进行调优设置
精彩案例解析
案例1:hot  region造成读请求瓶颈
现象:某台机器的某个region读请求非常频繁,大量读请求集中在一台机器的某个region会造成该机器的压力陡增,JVM内存居高不下,load很高,使得client读取数据上达到瓶颈值。
Mapreduce的性能调优
Mapreduce中需要调优的相关参数
Ø Dfs.block.size
Ø Mapreduce
Ø Io.sort.mb
Ø Io.sort.spill.percent
Ø Mapred.local.dir
Ø Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
Ø Mapred.reduce. tasksmapred. Sktracker.reduce.tasks. sktracker
l Map中选择合理的块大小
l Reduce并行复制线程的调优
l Map/reduce内存配置的原则及方法
l 槽位数计算方法
l 调度器的选择集调优
精彩案例解析
案例1:控制map & reduce个数
现象:map个数取决于split个数,如果源文件使用压缩存储,则不可分割,一个文件一个map。非压缩文件使用默认block.size进行切分。对reduce因为是中间数据,可以控制reduce数量。



 

 

 

友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 曙海 教育 企业 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 曙海教育企业培训课程 系列班