Skip to content

Latest commit

 

History

History
234 lines (171 loc) · 5.15 KB

1. CentOs集群搭建Mac版.md

File metadata and controls

234 lines (171 loc) · 5.15 KB

配置 spark 服务器

解决 ifconfig not found

Ifconfig command not found

cannot find a valid baseurl for repo

sudo dhclient

yum upgrade

yum install net-tools 
sudo yum install net-tools
再执行 ifconfig 可以查看到 ip 地址
ifconfig

更改 ip

# 在虚拟机中追加
vi /etc/hosts
在里面追加新的 ip：192.168.1.159 spark3

#在本机 etc/hosts 文件中同样追加 192.168.1.159 spark3

在 SecureCTR 中连接 spark 服务器

永久存储ip地址
vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
ln -s /etc/sysconfig/network-scripts/ifcfg-enp0s3 ~/ifcfg-enp0s3 
创建了配置网络的快捷方式

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=0221d1dc-c189-4e88-973a-011acc939d94
DEVICE=enp0s3
ONBOOT=yes
IPADDR=10.15.0.51
NETMASK=255.255.255.0
GATEWAY=10.15.0.2

编辑完后保存，再重启网络

 service network restart
 
 /etc/init.d/network restart
 
 重启单个网卡
 ifdown 网卡名  ifdown enp0s3
 
 开启某个网卡
 ifup 网卡名 ifup enp0s3

关闭防火墙

关闭防火墙

启动FirewallD防火墙
#systemctl start firewalld

关闭FirewallD防火墙
#systemctl stop firewalld

#检查FirewallD防火墙状态
#systemctl status firewalld
#firewall-cmd --state

掩码FirewallD服务
#systemctl mask firewalld

取消屏蔽FirewallD服务
#systemctl unmask firewalld

vi /etc/selinux/config
SELINUX=disabled

自己在mac的中关掉防火墙

关闭mac防火墙

要允许某个特定的app 接收传入连接，请使用“防火墙选项”进行添加： 打开“系统偏好设置”。 点按“安全性”或“安全性与隐私”图标。 选择“防火墙”标签。 点按偏好设置面板中的锁图标，然后输入管理员用户名和密码。 点按“防火墙选项”按钮 点按“添加应用软件”(+) 按钮。 选择您要为其允许传入连接的app。

将 /etc/selinux/config 中改成disabled

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled     #[原enforcing]
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

配置 dns 服务器

vi /etc/resolv.conf
nameserver 61.139.2.69
ping www.baidu.com

连接 Filezilla

yum 配置

1.修改 repo

使用 Filezilla 将 CentOS7-Base-163.repo 上传到 CemtOs 中的 /usr/local目录下。

cd /etc/yum.repos.d/

#删除原来的全部文件
rm -rf *

#mv 自己的 repo 文件移动到 /etc/yum.repos.d/ 目录中
cp /usr/local/CentOS7-Base-163.repo .
#进入到 CentOS7-Base-163.repo 中，修改 repo 文件，把所有 gpgcheck 属性修改为 0 (gpgcheck=0)
2.清理
yum clean all

yum makecache

yum install telnet

Linux CentOS 7 下 JDK 1.7 安装与配置

Linux CentOS 7 下 JDK 1.7 安装与配置

使用 Filezilla 将 jdk-7u80-linux-x64.tar.gz 上传到 /usr/local 目录下

解压 jdk-7u80-linux-x64.tar.gz 包

tar -zxvf jdk-7u80-linux-x64.tar.gz

删除 /usr/local 下 的 jdk-7u80-linux-x64.tar.gz 包

rm -rf jdk-7u80-linux-x64.tar.gz

编辑 /etc/profile ，添加环境变量

vi /etc/profile

export JAVA_HOME=/java/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

SSH 实现免密码登录

安全外壳协议

  1. 远程连接协议
  2. 远程文件传输协议

服务启动/停止/重启 #service sshd start/stop/restart #/etc/init.d/sshd start/stop/restart

SSH 实现本机免密码登录

对 spark3 本机生成秘钥

生成本地秘钥文件，过程中不断敲回车即可，ssh-keygen 命令默认将公钥放在 /root/.ssh 目录下

-rw-------. 1 root root 1679 1月 4 20:45 id_rsa -rw-r--r--. 1 root root 393 1月 4 20:45 id_rsa.pub

ssh-keygen -t rsa

将公钥复制为 authorized_keys 文件，此时使用 ssh 连接本机就不需要输入密码了。

cd /root/.ssh

cp id_rsa.pub authorized_keys

访问 spark3 服务，则不需要输入密码

ssh spark3

SSH 实现多服务免密码登录

ssh 免密码设置失败原因总结

ssh -vvv spark3