hadoop 又一次环境搭建

hadoop 又一次环境搭建
强烈推介IDEA2021.1.3破解激活,IntelliJ IDEA 注册码,2021.1.3IDEA 激活码  

大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说hadoop 又一次环境搭建,希望能够帮助大家进步!!!

【配置hadoop环境】

1 安装linux;
    环境:
        虚拟机:VB ;
        镜像:IOS ;
2 安装hadoop;
    执行:
        1 安装SSH、配置SSH无密码登陆
            * 用于管理集群;集群建传输数据;
            * 在shell下使用ssh远程登录一台Linux主机;
            
        2 (Java环境) - 安装JDK;
            * win上传文件
            * 解压文件;
            * 卸载原来的jdk;
        3 安装hadoop;
    
    【坑】
        [1] 无法直接将windows文件复制到virtual box中的linux系统上;
           
            解决 方式1:
                安装 xshell;访问远端不同系统下的服务器;
                通过xshell 链接 虚拟机;实现 win+linux 间上传,下载文件
            
                * xshell使用:
                        前提:尝试win ping linux - 查看两个系统是否能相互链接起来;    
                
                    [坑]:xshell无法链接虚拟机中的linux系统;
                        
                        原因:
                            本机的win 与 虚拟机的linux  ping不同 ;
                            虚拟机vb的linux 能ping同 本机的win ;
                        解决:    
                            将virtual box的网络链接方式 设为:桥接模式;
                            参:https://www.cnblogs.com/wanghui-garcia/p/10213502.html
            
            解决 方式2:
                安装xftp ;传文件到 虚拟机的linux;
        
            

        [2]    安装hadoop:执行 hdfs namenode -format ; Exitting with status 1 出错 ;
            
            分析:查看错误的内容;分析错误原因:
                  发现 - ERROR :Failed to start namenode,can‘t create directory .....(一个路径)
                  分析:没有权限创建目录;
            解决:
                添加权限:找到之前没操作的 命令:sudo chown -R 用户名 ./hadoop(hadoop所在目录下)

    
参:http://dblab.xmu.edu.cn/blog/install-hadoop/
    
  

【案例分析】

1 命令行编程

2 编译器编程
     *下载编译器;eclipse ;注:ubuntu下设置eclipse图标;
     * eclipse配置hadoop插件
            # 可能会有的问题:缺少依赖 jar 包 ;
            
     * 编程;

 

转载于:https://www.cnblogs.com/floakss/p/11462939.html

本文来源weixin_30595035,由架构君转载发布,观点不代表Java架构师必看的立场,转载请标明来源出处:https://javajgs.com/archives/29329

发表评论