wordpress全站备份,营销点子,凡客官网登录入口网址,网络广告策划的步骤1、Hadoop简介#xff1a;
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架#xff0c;是一个开发和运行处理大规模数据的软件平台。
Hadoop的核心组件包括Hadoop分布式文件系统#xff08;HDFS#xff09;和MapReduce编程模型。HDFS是一个高度容错的系统#xf…1、Hadoop简介
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架是一个开发和运行处理大规模数据的软件平台。
Hadoop的核心组件包括Hadoop分布式文件系统HDFS和MapReduce编程模型。HDFS是一个高度容错的系统用于存储大规模数据集具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型它简化了并行编程的复杂性使得开发者可以专注于业务逻辑的实现。
Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。它能够自动保存数据的多个副本并且能够自动将失败的任务重新分配。此外Hadoop还提供了一个完备的生态系统包括了许多与之配合使用的开源工具和组件如Hive、Pig、HBase、ZooKeeper等这些工具可以快速地构建数据分析和处理系统。
很多Hadoop应用都是基于WordCount所代表的MapReduce编程模型变化而来因此WordCount可以算是入门Hadoop的“Helloworld”程序本文将详细说明如何运行一个WordCount任务。
2、Ubuntu安装Hadoop
详见Ubuntu安装Hadoop3.4-CSDN博客
3、WordCount测试
启动Hadoop
start-all.sh
在Hadoop中创建测试文件夹
$ hdfs dfs -mkdir /user
$ hdfs dfs -mkdir /user/hadoop
上传本地文件至hadoop用作后续测试
$ hdfs dfs -put /home/hadoop/training/hadoop-3.4.0/etc/hadoop /user/hadoop/input
查看上传的文件
hdfs dfs -ls /user/hadoop/input
在share/hadoop目录中有一些示例jar包我们将运行hadoop-mapreduce-examples-3.4.0.jar来完成词频统计任务。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount /user/hadoop/input /user/hadoop/output 完成此任务需要一些时间需要耐心等待可以在终端看到运行过程。 WordCount任务完成后将output下载至本地
hdfs dfs -get /user/hadoop/output output
查看词频统计结果
