摘要: 1、系統(tǒng)管理1.1 連接MySQL 格式： mysql -h主機地址 -u用戶名 －p用戶密碼 舉例： 例1：連接到本機上的MySQL。 首先在打開DOS窗口，然后進入目錄 mysqlbin，再鍵入命令"mysql –u root –p"，回車后提示你輸密碼，如果剛安裝好MySQL，超級用戶"root"是沒有密碼的，故直接回車即可進入到MySQL中了，MySQL的提示符是： mysql>。 例2：連接到遠(yuǎn)程主機上的MYSQL。假設(shè)遠(yuǎn)程主機的IP為：110.110.110.110，用戶名為root，密碼為abcd123。則鍵入以下命令：mysql -閱讀全文

摘要: 1、MySQL安裝 MySQL下載地址：http://www./downloads/1.1 Windows平臺 1）準(zhǔn)備軟件 MySQL版本：mysql-5.5.21-win32.msi 2）安裝環(huán)境： 操作系統(tǒng)：Windows 7旗艦版 3）開始安裝 第一步：雙擊"msi"安裝文件，出現(xiàn)如圖1.1-1界面——"MySQL安裝向?qū)?，按"Next"繼續(xù)。圖1.1-1 MySQL安裝向?qū)?第二步：在"I accept …."前面勾上，同意協(xié)議，按"Next"按鈕繼續(xù)。圖1.1-2閱讀全文

摘要: 1、數(shù)據(jù)去重 "數(shù)據(jù)去重"主要是為了掌握和利用并行化思想來對數(shù)據(jù)進行有意義的篩選。統(tǒng)計大數(shù)據(jù)集上的數(shù)據(jù)種類個數(shù)、從網(wǎng)站日志中計算訪問地等這些看似龐雜的任務(wù)都會涉及數(shù)據(jù)去重。下面就進入這個實例的MapReduce程序設(shè)計。1.1 實例描述 對數(shù)據(jù)文件中的數(shù)據(jù)進行去重。數(shù)據(jù)文件中的每行都是一個數(shù)據(jù)。 樣例輸入如下所示： 1）file1： 2012-3-1 a2012-3-2 b2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b2012-3-7 c2012-3-3 c 2）file2： 2012-3-1 b2012-3-2 a2012-3-3 閱讀全文

摘要: 1、HDFS簡介 HDFS（Hadoop Distributed File System）是Hadoop項目的核心子項目，是分布式計算中數(shù)據(jù)存儲管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，可以運行于廉價的商用服務(wù)器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲，為超大數(shù)據(jù)集（Large Data Set）的應(yīng)用處理帶來了很多便利。 Hadoop整合了眾多文件系統(tǒng)，在其中有一個綜合性的文件系統(tǒng)抽象，它提供了文件系統(tǒng)實現(xiàn)的各類接口，HDFS只是這個抽象文件系統(tǒng)的一個實例。提供了一個高層的文件系統(tǒng)抽象類org.apache.h..閱讀全文

摘要: 1、Hadoop開發(fā)環(huán)境簡介1.1 Hadoop集群簡介 Java版本：jdk-6u31-linux-i586.bin Linux系統(tǒng)：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows開發(fā)簡介 Java版本：jdk-6u31-windows-i586.exe Win系統(tǒng)：Windows 7 旗艦版 Eclipse軟件：eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zip Hadoop軟件：hadoop-1.0.0.tar.gz Hadoop Ec...閱讀全文

摘要: 1、MapReduce理論簡介1.1 MapReduce編程模型 MapReduce采用"分而治之"的思想，把對大規(guī)模數(shù)據(jù)集的操作，分發(fā)給一個主節(jié)點管理下的各個分節(jié)點共同完成，然后通過整合各個節(jié)點的中間結(jié)果，得到最終結(jié)果。簡單地說，MapReduce就是"任務(wù)的分解與結(jié)果的匯總"。 在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機器角色有兩個：一個是JobTracker；另一個是TaskTracker，JobTracker是用于調(diào)度工作的，TaskTracker是用于執(zhí)行工作的。一個Hadoop集群中只有一臺JobTracker。 在分布式計算中，M閱讀全文

摘要: 1、Linux配置java環(huán)境變量1.1 原文出處 地址：http://blog.csdn.net/jiedushi/article/details/66728941.2 解壓安裝jdk 在shell終端下進入jdk-6u14-linux-i586.bin文件所在目錄，執(zhí)行命令 ./jdk-6u14-linux-i586.bin 這時會出現(xiàn)一段協(xié)議，連繼敲回車，當(dāng)詢問是否同意的時候，輸入yes，回車。之后會在當(dāng)前目錄下生成一個jdk1.6.0_14目錄，你可以將它復(fù)制到 任何一個目錄下。1.3 需要配置的環(huán)境變量 1）PATH環(huán)境變量 作用是指定命令搜索路徑，在shell下面執(zhí)行命令時...閱讀全文

摘要: 1、集群部署介紹1.1 Hadoop簡介 Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的開源實現(xiàn)）為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 對于Hadoop的集群來講，可以分成兩大類角色：Master和Salve。一個HDFS集群是由一個NameNode和若干個DataNode組成的。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的DataNod..閱讀全文

摘要: 1、SecureCRT簡介 SecureCRT是一款支持SSH（SSH1和SSH2）的終端仿真程序，同時支持Telnet和rlogin協(xié)議。SecureCRT是一款用于連接運行包括Windows、UNIX和VMS的遠(yuǎn)程系統(tǒng)的理想工具。通過使用內(nèi)含的VCP命令行程序可以進行加密文件的傳輸。有流行CRTTelnet客戶機的所有特點，包括：自動注冊、對不同主機保持不同的特性、打印功能、顏色設(shè)置、可變屏幕尺寸、用戶定義的鍵位圖和優(yōu)良的VT100，VT102，VT220和ANSI競爭。能從命令行中運行或從瀏覽器中運行。其它特點包括文本手稿、易于使用的工具條、用戶的鍵位圖編輯器、可定制的ANSI顏色等..閱讀全文

摘要: 1、VSFTP簡介 VSFTP是一個基于GPL發(fā)布的類Unix系統(tǒng)上使用的FTP服務(wù)器軟件，它的全稱是Very Secure FTP 從此名稱可以看出來，編制者的初衷是代碼的安全。 安全性是編寫VSFTP的初衷，除了這與生俱來的安全特性以外，高速與高穩(wěn)定性也是VSFTP的兩個重要特點。 在速度方面，使用ASCII代碼的模式下載數(shù)據(jù)時，VSFTP的速度是Wu-FTP的兩倍，如果Linux主機使用2.4.*的內(nèi)核，在千兆以太網(wǎng)上的下載速度可達86MB/S。 在穩(wěn)定方面，VSFTP就更加的出色，VSFTP在單機（非集群）上支持4000個以上的并發(fā)用戶同時連接，根據(jù)Red Hat的Ftp服...閱讀全文

摘要: 1、分布式環(huán)境搭建 采用4臺安裝Linux環(huán)境的機器來構(gòu)建一個小規(guī)模的分布式集群。圖1 集群的架構(gòu) 其中有一臺機器是Master節(jié)點，即名稱節(jié)點，另外三臺是Slaver節(jié)點，即數(shù)據(jù)節(jié)點。這四臺機器彼此間通過路由器相連，從而實驗相互通信以及數(shù)據(jù)傳輸。它們都可以通過路由器訪問Internet，實驗網(wǎng)頁文檔的采集。2、集群機器詳細(xì)信息2.1 Master服務(wù)器 名稱詳細(xì)信息機器名稱Master.Hadoop機器IP地址192.168.1.2最高用戶名稱（Name）root最用用戶密碼（PWD）hadoop（全小寫）一般用戶名稱（Name）hadoop（全小寫）一般用戶密碼（PWD）hadoop...閱讀全文

摘要: 1、準(zhǔn)備安裝1.1 系統(tǒng)簡介 CentOS 是什么？ CentOS是一個基于Red Hat 企業(yè)級 Linux 提供的可自由使用的源代碼企業(yè)級的 Linux 發(fā)行版本。每個版本的 CentOS 都會獲得七年的支持（通過安全更新方式）。新版本的 CentOS 每兩年發(fā)行一次，而每個版本的 CentOS 會定期（大概每六個月）更新一次，以便支持新的硬件。這樣，建立一個安全、低維護、穩(wěn)定、高預(yù)測性、高重復(fù)性的 Linux 環(huán)境。 CentOS（Community Enterprise Operating System）是Linux發(fā)行版之一，它是來自于Red Hat Enterprise L...閱讀全文

摘要: 1）Hadoop學(xué)習(xí)總結(jié) （1）HDFS簡介 地址：http://forfuture1978./blog/615033 （2）HDFS讀寫過程解析 地址：http://blog.csdn.net/forfuture1978/article/details/6001302 （3）Map-Reduce入門 地址：http://blog.csdn.net/forfuture1978/article/details/6043926 （4）Map-Reduce的過程解析 地址：http://blog.csdn.net/forfuture1978/article/deta...閱讀全文

摘要: 下面是Hadoop集群系列的目錄安排，按照一星期發(fā)布一期的原則進行。希望大家的關(guān)注。 目錄安排： 1）Hadoop集群_第1期_CentOS安裝配置_V1.0 2）Hadoop集群_第2期_機器信息分布表_V1.1 3）Hadoop集群_第3期_VSFTP安裝配置_V1.0 4）Hadoop集群_第4期_SecureCRT使用_V1.0 5）Hadoop集群_第5期_Hadoop安裝配置_V1.1 6）Hadoop集群_第5期副刊_JDK和SSH無密碼配置_V1.0 7）Hadoop集群_第6期_WordCount運行詳解_V1.0 8）Hadoop集群_第7期_Ecli...閱讀全文

摘要: 1）Cygwin相關(guān)資料 （1）Cygwin上安裝、啟動ssh服務(wù)失敗、ssh localhost失敗的解決方案 地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ （2）windows2003+cygwin+ssh 地址：http://wenku.baidu.com/view/3777b8bc960590c69ec3765e.html （3）Cygwin 安裝和SSH設(shè)定教學(xué) 地址：http://blog./?p=2731 （4）如何在Cygwin中安裝并配置SSH 地址...閱讀全文