介绍VMware

VMware Workstation 是一个虚拟PC的软件，利用VMware工作站，可以在现有的操作系统上虚拟出一个或多个新的硬件环境，相当于模拟出多台新的PC，以此来实现在一台机器上同时运行多个独立的操作系统。VMware 是一种常用的、功能强大的虚拟机管理软件，还有一种比较常用的轻量级的虚拟机管理软件VirtualBox。

VMware Workstation 是一种虚拟机管理软件，安装该软件后，可以创建多个虚拟机（即虚拟PC），然后在虚拟机上安装操作系统即可，每台虚拟机本身就像一台真正地电脑一样。

VMware 官方网站：http://www.vmware.com

VMware的主要特点：

  • 可以在同一台机器上同时运行多个操作系统；
  • 本机系统可以与虚拟机系统进行网络通信；
  • 可以随时修改虚拟机系统的硬件环境。

VMware的下载和安装

VMware Workstation 15 Pro for Windows（64 位）的下载地址如下：

官方地址：https://download3.vmware.com/software/wkst/file/VMware-workstation-full-15.5.0-14665864.exe
百度网盘地址：（待添加）

注意：要与VMware的版本对应上，尽量不要使用最新的版本
许可证密钥：AZ312-2FE41-M81LP-R6WEZ-NA2Z4（失效了再多找一找）

上面的任何一个下载地址都可以使用。

下载完VMware Workstation 12的安装包后，直接安装即可。虽然下载的是试用版，但是我这里提供了密钥，用密钥激活后就可永久免费使用。安装方法很简单，直接双击安装程序，默认安装即可。安装完成后，点击桌面的快捷启动图标，会提示你输入许可证密钥，把上面的密钥输入就可以激活了。

VMware的使用教程

安装破解教程

安装完成，直接输入秘钥即可
https://www.dcydz.com/307.html
https://www.cnblogs.com/mr-xiong/p/12468280.html

输入上面秘钥，可以成功激活

image-20201108164627966

创建虚拟机教程

搭建集群

每台机器，为方便设置账号密码

账号：root
密码：123456

集群使用

连接虚拟机上的集群

测试集群是否有网络，使用ping www.baidu.com测试

设置好所有集群之后，需要测试主机是否能够连通集群上的机器

ping 192.168.19.137
ssh root@192.168.19.137

如果主题不能联通虚拟机的话，需要检查：

单机版环境

  • 如果电脑配置太低，建议大家使用单机版
  • 一台centos hadoop-master， 192.168.19.137

分布式环境

三台虚拟机，觉得硬盘可以，配置可以使用

分别已配置好装有大数据计算环境，并且相应的数据都已经存在数据库和文件中

  • hadoop-master

已经开启hadoop、hbase、spark、hive

20160 Jps
18786 Master
4131 RunJar # hive
17395 ResourceManager
19219 Worker
16757 NameNode
17206 SecondaryNameNode
18683 HRegionServer
8637 ThriftServer # happybase使用
18253 HMaster
18159 HQuorumPeer
  • hadoop-slave1、hadoop-slave2

开启hadoop、hbase、spark

3857 NodeManager
4290 Worker
4680 Jps
3740 DataNode
3980 HQuorumPeer
4093 HRegionServers

默认都打开过了

两种配置当中，都在scripts目录下有一键启动hadoop、hbase、spark的脚本，也有一键关闭hadoop、hbase、spark的脚本

[root@hadoop-master scripts]# pwd
/root/scripts
[root@hadoop-master scripts]# ls
all.sh  my.cnf  start.sh  stop.sh
[root@hadoop-master scripts]#

如果出现相关启动失败，三台hbase同步下时间：

# 时间有误差问题同步一下：
[root@hadoop-master ~]# ntpdate 0.cn.pool.ntp.org
[root@hadoop-slave1 ~]# ntpdate 0.cn.pool.ntp.org
[root@hadoop-slave2 ~]# ntpdate 0.cn.pool.ntp.org

# 然后指定全部关闭
[root@hadoop-master ~]#. stop.sh
# 全部启动
[root@hadoop-master ~]#. start.sh

确定本地库都已经启动：

hadoop

img

hbase

img

spark

img

python环境

装有anaconda系列虚拟环境即可，在这里先创建一个用于后面项目使用的虚拟环境，centos已提供miniconda2环境

以下环境：都在三台centos中安装

conda create -n reco_sys python=3.6.7

pip install -r requirements.txt --ignore-installed

开发配置

pycharm关联连接本地项目与centos项目目录开发，配置如下，添加远程机器的IP和用户名，往后密码以及python环境位置，本地关联远程工程目录

img