源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

Hadoop1.2中配置伪分布式的实例

  • 时间:2021-08-26 16:22 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:Hadoop1.2中配置伪分布式的实例
[b]1、设置ssh[/b] 安装ssh相关软件包:
[url=configuration.xsl]<!-- Put site-specific property overrides in this file. --> <configuration>   <property>     <name>fs.default.name</name>     <value>hdfs://localhost:9000</value>     <final>true</final>   </property> </configuration>
fs.default.name来指定HDFS的uri,如果value中没有提供端口,默认为8020。 配置文件hadoop-1.2.1/conf/hdfs-site.xml: dfs.name.dir指定namenode存储元数据的目录,可以指定多个目录,这些目录要用逗号分开;dfs.data.dir指定datanode存放数据的目录,可以指定多个目录;fs.checkpoint.dir指定辅助namenode存放检查点的目录。 配置文件hadoop-1.2.1/conf/mapred-site.xml:
[url=configuration.xsl]<!-- Put site-specific property overrides in this file. --> <configuration>   <property>     <name>mapred.job.tracker</name>     <value>localhost:9001</value>     <final>true</final>   </property> </configuration>
[b]3、测试[/b] 先格式化HDFS:
启动HDFS和MapReduce进程:
[u]复制代码[/u] 代码如下:
$ ./hadoop-1.2.1/bin/start-dfs.sh $ ./hadoop-1.2.1/bin/start-mapred.sh
启动时候如果报错,例如localhost: Error: JAVA_HOME is not set.,需要在./hadoop-1.2.1/conf/hadoop-env.sh文件中export JAVA_HOME,例如: export JAVA_HOME=~/jdk1.7.0_25 如何检查是否成功启动了: 第一种方法是使用jps命令(Java Virtual Machine Process Status Tool),应该有如下类似输出:
[u]复制代码[/u] 代码如下:
$ jps 13592 DataNode 13728 SecondaryNameNode 13837 JobTracker 12864 NameNode 13955 TaskTracker 16069 Jps
第二种方法是浏览器登录http://localhost:50030查看jobtracker,http://localhost:50070查看namenode。如果在使用翻墙软件,那么在访问时可能会报错,最简单的解决方法是关掉翻墙软件。 还有一种方法就是查看日志文件。 现在我们在~/hadoop-env/test/input目录下建立两个文件:
[u]复制代码[/u] 代码如下:
$ echo "hello world" > test1.txt $ echo "hi,world" > test2.txt
把这两个文件导入HDFS:
[u]复制代码[/u] 代码如下:
./hadoop-1.2.1/bin/hadoop dfs -put hadoop-env/test/input/  output/
查看:
[u]复制代码[/u] 代码如下:
$ ./hadoop-1.2.1/bin/hadoop dfs -ls / Found 2 items drwxr-xr-x   - user supergroup          0 2013-10-22 22:07 /test drwxr-xr-x   - user supergroup          0 2013-10-22 21:58 /tmp $ ./hadoop-1.2.1/bin/hadoop dfs -ls /test Found 2 items -rw-r--r--   3 user supergroup         12 2013-10-22 22:07 /test/test1.txt -rw-r--r--   3 user supergroup          9 2013-10-22 22:07 /test/test2.txt
OK,配置完成。 注:本文使用的系统是linux mint 15 64bit,hadoop使用的是1.2.1版本。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部