日韩黑丝制服一区视频播放|日韩欧美人妻丝袜视频在线观看|九九影院一级蜜桃|亚洲中文在线导航|青草草视频在线观看|婷婷五月色伊人网站|日本一区二区在线|国产AV一二三四区毛片|正在播放久草视频|亚洲色图精品一区

分享

大數(shù)據(jù)-hadoop-MapReduce計(jì)算流程

 Coder編程 2020-06-24
  • MapReduce計(jì)算流程

  1  首先是通過(guò)程序員所編寫(xiě)的MR程序通過(guò)命令行本地提交或者IDE遠(yuǎn)程提交

  2 一個(gè)MR程序就是一個(gè)Job,Job信息會(huì)給Resourcemanger,向Resourcemanger注冊(cè)信息

  • 3  在注冊(cè)通過(guò)后,Job會(huì)拷貝相關(guān)的資源信息(從HDFS中)

    4 緊接著會(huì)向Resourcemanger提交完整的Job信息(包括資源信息)

    5a  Resourcemanger 會(huì)通過(guò)提交的Job信息,計(jì)算出Job所需的資源,為Job分配Container資源

    5b 計(jì)算資源會(huì)分發(fā)給對(duì)應(yīng)的NodeManger,NodeManager會(huì)創(chuàng)建一個(gè)MRAppMaster

    6  MRAppMaster初始化Job

    7 獲取輸入切片信息

    8 MRAppMaster向ResourceManager 請(qǐng)求資源

    9a 啟動(dòng)計(jì)算資源(連接到對(duì)應(yīng)的資源所在NodeManager)

    9b 啟動(dòng)YARN Child

    10 從文件系統(tǒng)中獲取完整的Job信息

    11 啟動(dòng)對(duì)應(yīng)的Maptask或者ReduceTask 進(jìn)程,執(zhí)行計(jì)算。

 

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多