网站关键词排名查询工具,常用的网站开发,二级域名子域名大全,第三方小程序平台四、大数据集群服务器搭建 1. 新增Linux服务器
1.1、克隆虚拟机
学习环境中#xff0c;一般使用VMware虚拟机克隆Linux系统#xff0c;用来进行集群服务器的搭建。
VMware支持两种类型的克隆#xff1a;完整克隆、链接克隆
完整克隆是和原始虚拟机完全独立的一个复制一般使用VMware虚拟机克隆Linux系统用来进行集群服务器的搭建。
VMware支持两种类型的克隆完整克隆、链接克隆
完整克隆是和原始虚拟机完全独立的一个复制它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。链接克隆需要和原始虚拟机共享同一虚拟磁盘文件不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩短了创建克隆虚拟机的时间同时还节省了宝贵的物理磁盘空间。通过链接克隆可以轻松的为不同的任务创建一个独立的虚拟机。
虚拟机克隆的前置条件虚拟机处于关闭状态。 虚拟机克隆的流程 1.2、修改虚拟机的硬件配置 1.3、修改虚拟机的网络配置
修改主机名hostname: vim /etc/hostname node2.itcast.cn
修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPEEthernet # 网卡类型 以太网 PROXY_METHODnone BROWSER_ONLYno BOOTPROTOnone DEFROUTEyes IPV4_FAILURE_FATALno IPV6INITyes IPV6_AUTOCONFyes IPV6_DEFROUTEyes IPV6_FAILURE_FATALno IPV6_ADDR_GEN_MODEstable-privacy NAMEens33 #网卡名称 UUID74c3b442-480d-4885-9ffd-e9f0087c9cf7 DEVICEens33 ONBOOTyes #是否开机启动网卡服务 IPADDR192.168.88.152 #IP地址 PREFIX24 #子网掩码 等效: NETMASK255.255.255.0 GATEWAY192.168.88.2 #网关服务 DNS1192.168.88.2 #网关DNS解析 DOMAIN114.114.114.114 #公网DNS解析 114.114.114.114 谷歌8.8.8.8 阿里百度DNS IPV6_PRIVACYno
systemctl restart network # 重启网络服务 2. 关闭防火墙 2.1、关闭firewalld # 查看防火墙状态 systemctl status firewalld # 关闭防火墙 systemctl stop firewalld # 关闭防火墙开机自启动 systemctl disable firewalld # centos服务开启关闭命令 centos6:(某些可以在centos7下使用) service 服务名 start|stop|status|restart chkconfig on|off 服务名 centos7: systemctl start|stop|status|restart 服务名 systemctl disable|enable 服务名 #开机自启动 关闭自启 2.2、关闭SElinux
安全增强型 LinuxSecurity-Enhanced Linux简称 SELinux它是一个 Linux 内核模块也是 Linux 的一个安全子系统。
SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。
SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源最小权限原则。
注意需要重启才能生效。 vim /etc/selinux/config # This file controls the state of SELinux on the system. # SELINUX can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUXdisabled 3. 修改主机名
使用vi编辑器修改主机名
vim /etc/hostname root
重启后生效 4. 修改hosts映射 分别编辑每台虚拟机的hosts文件在原有内容的基础上填下以下内容:
注意不要修改文件原来的内容三台虚拟机的配置内容都一样。 vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.88.151 node1.itcast.cn node1 192.168.88.152 node2.itcast.cn node2 192.168.88.153 node3.itcast.cn node3 5. SSH免密登录 # 实现node1-----node2 # step1 在node1生成公钥私钥 ssh-keygen 一顿回车 在当前用户的home下生成公钥私钥 隐藏文件 [rootnode1 .ssh]# pwd /root/.ssh [rootnode1 .ssh]# ll total 12 -rw------- 1 root root 1675 May 20 11:59 id_rsa -rw-r--r-- 1 root root 402 May 20 11:59 id_rsa.pub -rw-r--r-- 1 root root 183 May 20 11:50 known_hosts # step2 copy公钥给node2 ssh-copy-id node2 注意第一次需要密码 # step3 [rootnode1 .ssh]# ssh node2 Last login: Thu May 20 12:03:30 2021 from node1.itcast.cn [rootnode2 ~]# exit logout Connection to node2 closed. # 课程要求至少打通node1----node1 node2 node3 这三个免密登录 # 至于所有机器之间要不要互相免密登录 看心情 6. 时钟同步 命令 英文 含义 ntpdate 互联网时间服务器地址 Network Time Protocol 同步时间
阿里云时钟同步服务器ntpdate ntp4.aliyun.com 7. 远程文件拷贝
远程文件拷贝命令scp
scp是 remote file copy program 的缩写, scp是远程文件拷贝命令 7.1、从本机拷贝到远程服务器 准备工作 # 创建目录 mkdir -p /export/aaa/bbb/ccc # 创建文件 touch /export/aaa/01.txt /export/aaa/02.txt # 显示 tree /export/aaa
1、文件
语法格式 拷贝文件 scp local_file remote_usernameremote_ip:remote_folder
需求: 将本地 01.txt 文件 复制到 192.168.153.102 机器的 /export目录下
scp /export/aaa/01.txt root192.168.153.102:/export
scp /export/aaa/02.txt roothadoop02:/export
scp /export/aaa/02.txt hadoop02:/export 2、文件夹
语法格式 拷贝目录 scp -r local_folder remote_usernameremote_ip:remote_folder
需求: 将本地 aaa 目录 复制到 192.168.150.102 机器的 /export 目录下 scp -r /export/aaa root192.168.153.102:/export scp -r /export/aaa roothadoop02:/export scp -r /export/aaa hadoop02:/export 7.2、从远程服务器复制到本机 准备工作 # 创建目录 mkdir -p /export/a1/b1/c1 # 创建文件 touch /export/a1/111.txt touch /export/a1/222.txt # 显示内容 tree /export/a1
1、文件
语法格式 scp remote_usernameremote_ip:remote_file local_folder
练习: 将 hadoop02的 111.txt 文件 复制到 hadoop01的 export目录下 scp root192.168.100.202:/export/a1/111.txt /export
scp roothadoop02:/export/a1/222.txt /export
scp hadoop02:/export/a1/222.txt /export
2 目录
语法格式 scp -r remote_usernameremote_ip:remote_folder local_folder
练习: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下 scp -r root192.168.100.202:/export/a1 /export
scp -r hadoop02:/export/a1 /export 五、Shell编程 1. 什么是Shell 1.1、简介
Shell 是一个用 C 语言编写的程序 通过 Shell 用户可以访问操作系统内核服务。
它类似于 DOS 下的 command 和后来的 cmd.exe。Shell既是一种命令语言又是一种程序设计语言。
Shell script 是一种为shell编写的脚本程序。 Shell 编程一般指shell脚本编程不是指开发shell自身。 1.2、Shell解释器
Shell编程跟java、php编程一样只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Linux的Shell解释器种类众多一个系统可以存在多个 shell可以通过cat /etc/shells 命令查看系统中安装的 shell。 bash 由于易用和免费在日常工作中被广泛使用。同时 bash 也是大多数Linux 系统默认的 Shell。
总结java执行需要虚拟机解释器, 同理shell程序执行也需要解析器 2. 快速入门 2.1、编写Shell脚本
使用 vi 编辑器新建一个文件hello.sh扩展名并不影响脚本执行 #!/bin/bash echo Hello World ! # ! 是一个约定的标记它告诉系统这个脚本需要什么解释器来执行即使用哪一种 Shell
echo命令 用于向窗口输出文本。 给shell程序赋予执行权限
chmod x ./hello.sh # 使脚本具有执行权限 2.2、执行Shell脚本
执行shell程序
./hello.sh #执行脚本 直接写 hello.shlinux 系统会去 PATH 里寻找有没有叫hello.sh的。
用 ./hello.sh 告诉系统说就在当前目录找
还可以作为解释器参数运行。直接运行解释器其参数就是 shell 脚本的文件名如sh /root/shelldemo/hello.sh
在使用解释器直接执行shell程序这种方式来运行脚本不需要考虑脚本程序的执行权限了 小结 使用vi编辑器创建shell程序文件。通常使用.sh作为shell程序后缀名。
shell程序的基本格式
1、指定解释器信息。默认/bin/bash
2、书写shell程序代码
3、保存shell程序代码
4、执行shell程序 提前给shell程序授予可执行权限
第一种./xxx.sh #在当前目录中执行shell程序
第二种/xx/xxx.sh #书写全路径的shell程序
第三种sh /xx/xxx.sh #把shell程序作用/bin/sh解释器的参数通过运行解释器来执行shell
