Ubuntu Server 1804 – 📔独行看客的笔记本

「记录」使用PCI设备直通技术在vSphere中部署基于Ubuntu Server 1804的GPU服务器

薛定谔的nil2021年1月24日 0 Comments

大约在两年前我撰写了一篇文章记录我为实验室部署GPU云的核心过程。现在给学院部署GPU云，本以为可以照着原来的文章很顺利就可以装完，结果却搞得心态爆炸，一度怀疑人生，所以很有必要再写一篇记录一下。

环境：
实体机：曙光天阔 W780-G20
操作系统： VMware ESXi, 6.7.0, 14320388
管理平台： VMware vCenter Server Appliance, 6.7.0, 15129973
GPU：NVIDIA GP100GL [Tesla P100 PCIe 16GB] ×8

先简单说一下部署环境和上次的区别：第一是平台不再是商业大厂DELL EMC，很多文档资料缺失；第二是底层esxi和管理平台vcenter都升级到了6.7；第三是虚拟机准备安装Ubuntu Server 1804，之前的16在21年来看有点过老。最关键的是第四点：显卡质量和数量都上了一个巨大台阶，原来单台机器最多3卡（一个泰坦X，两个泰坦XP），遇到的显存最大的卡应该就是p40。当时在安装p40的时候就遇到奇怪的问题，为此还写了一篇记录文章。这次遇到的核心问题和p40那次应该是同一个，都是高级显卡显存过大，需要一些特定的底层配置参数，vmware专门有博客文章（下简称博文）进行了介绍，但是我一开始寻找解决方案的方向有很大偏差，绕了一大圈才找到。

0. 准备工作

0.1. 主机BIOS设置

根据博文内容，需要在运行虚拟GPU服务器的esxi主机的BIOS设置中查找并开启类似这样的选项：“above 4G decoding”、“memory mapped I/O above 4GB”、“PCI 64-bit resource handing above 4G”

0.2. 配置PCI设备直通

在esxi主机中配置好显卡的设备直通

0.3. 上传系统安装镜像

将ubuntu server 1804安装镜像上传到主机数据存储

1. 创建虚拟机

⚠️注意：必须在vsphere client中创建虚拟机，不可以在本地workstation创建虚拟机安装后再上传！

首先按照常规方法创建虚拟机，创建后不要启动！按以下步骤进行预先配置。

1.1. 设置虚拟机引导方式为EFI

在虚拟机页面，“操作”→“编辑设置”→“虚拟机选项”→“引导选项”→“固件”，选择“EFI”。

1.2. 设置虚拟机高级配置参数

在刚才1.1的“引导选项”下方找到“高级”，点击“配置参数”右侧的“编辑配置”，进入高级参数配置窗口。

在窗口中点击“添加配置参数”，然后添加2条：

pciPassthru.use64bitMMIO = "TRUE"
pciPassthru.64bitMMIOSizeGB = "[⚠️此处按需填写⚠️]"

1 2	pciPassthru.use64bitMMIO = "TRUE" pciPassthru.64bitMMIOSizeGB = "[⚠️此处按需填写⚠️]"

⚠️注意：“pciPassthru.64bitMMIOSizeGB”条目的值需要根据虚拟机具体直通的显卡型号和数量进行计算后得出！

博文中提供了一种简单估算方法：GPU个数 × 一块GPU的显存大小（GB为单位），然后将结果向上取整到下一个2的整数次幂。

例如，要给这个虚拟机直通两个p100显卡，则值应为：2 × 16 = 32，向上取整到下一个2的整数次幂，得到64。但如果是直通v100显卡，64则只能直通一块，因为v100单卡显存就是32G，想要直通两块就需要改为128。

⚠️注意：与通常情况不同的是不可以添加“hypervisor.cpuid.v0 = FALSE”参数！

1.3. 修改虚拟机兼容性

在虚拟机页面，“操作”→“兼容性”→“升级虚拟机兼容性”，打开“配置虚拟机兼容性窗口”。

将虚拟机兼容性改为：ESXi 6.7 Update 2 及更高版本

2. 安装操作系统

现在可以进行第一次开机，并按照提示安装操作系统。安装后，顺便进行基本的系统配置，例如换源、配置网络、软件包升级等。

3. 为虚拟机添加显卡直通

3.1. 启用内存预留

在虚拟机页面，“操作”→“编辑设置”→“虚拟硬件”→“内存”，勾选“预留所有客户机内存（全部锁定）”。

3.2. 添加显卡设备

在虚拟机页面，“操作”→“编辑设置”→“虚拟硬件”→“添加新设备”→“PCI 设备”，然后在PCI设备选项中选择需要添加的显卡。

4. 安装NVIDIA驱动和CUDA

4.1. 检查GPU

lspci | grep -i nvidia

1	lspci \| grep -i nvidia

4.2. 禁用nouveau

# 若有输出则表示nouveau正在加载，需要禁用。
lsmod | grep nouveau

sudo nano /etc/modprobe.d/blacklist-nouveau.conf
# 文件中添加以下内容
blacklist nouveau  
options nouveau modeset=0

# “4.15.0-134”可能会根据机器差异发送变化，需要到具体路径下确认。
cd /lib/modules/4.15.0-134-generic/kernel/drivers/gpu/drm/nouveau 
sudo rm -rf nouveau.ko 
sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf
# 文件末尾追加以下内容
blacklist rivafb
blacklist vga16fb
blacklist nouveau
blacklist nvidiafb
blacklist rivatv

# 更新并重启
sudo update-initramfs -u
sudo reboot

# 若有输出则表示nouveau正在加载，需要禁用。

lsmod | grep nouveau

sudo nano /etc/modprobe.d/blacklist-nouveau.conf

# 文件中添加以下内容

blacklist nouveau

options nouveau modeset=0

# “4.15.0-134”可能会根据机器差异发送变化，需要到具体路径下确认。

cd /lib/modules/4.15.0-134-generic/kernel/drivers/gpu/drm/nouveau

sudo rm -rf nouveau.ko

sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf

# 文件末尾追加以下内容

blacklist rivafb

blacklist vga16fb

blacklist nouveau

blacklist nvidiafb

blacklist rivatv

# 更新并重启

sudo update-initramfs -u

sudo reboot

4.3. 安装依赖包

sudo apt-get install linux-headers-$(uname -r)
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

1 2	sudo apt-get install linux-headers-$(uname -r) sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

4.4. 安装NVIDIA驱动

默认已经下载好驱动文件

sudo apt-get remove --purge nvidia-*

sudo chmod +x NVIDIA-Linux-x86_64-440.118.02.run
sudo ./NVIDIA-Linux-x86_64-440.118.02.run --no-x-check --no-nouveau-check --no-opengl-files

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行
sudo reboot
nvidia-smi
# 应该显示相应的显卡运行情况

sudo apt-get remove --purge nvidia-*

sudo chmod +x NVIDIA-Linux-x86_64-440.118.02.run

sudo ./NVIDIA-Linux-x86_64-440.118.02.run --no-x-check --no-nouveau-check --no-opengl-files

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行

sudo reboot

nvidia-smi

# 应该显示相应的显卡运行情况

4.5. 安装CUDA

sudo chmod +x ./cuda_10.2.89_440.33.01_linux.run

# 安装CUDA
sudo sh ./cuda_10.2.89_440.33.01_linux.run

# 经过一小段时间的等待，会出现用户许可协议，输入accept然后回车继续。
# 之后会有安装选项，是一个文字模拟的选项界面。注意如果已经安装驱动，就不需要再次安装了！

# 安装完成后应该显示如下信息
===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-10.2/
Samples:  Installed in /home/ubuntu/

Please make sure that
 -   PATH includes /usr/local/cuda-10.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log
# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行
sudo reboot
cd  /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
# 应该返回以下信息
./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "Tesla P100-PCIE-16GB"
  CUDA Driver Version / Runtime Version          10.2 / 10.2
  CUDA Capability Major/Minor version number:    6.0
  Total amount of global memory:                 16281 MBytes (17071734784 bytes)
  (56) Multiprocessors, ( 64) CUDA Cores/MP:     3584 CUDA Cores
  GPU Max Clock rate:                            1329 MHz (1.33 GHz)
  Memory Clock rate:                             715 Mhz
  Memory Bus Width:                              4096-bit
  L2 Cache Size:                                 4194304 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 11 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla P100-PCIE-16GB"
  CUDA Driver Version / Runtime Version          10.2 / 10.2
  CUDA Capability Major/Minor version number:    6.0
  Total amount of global memory:                 16281 MBytes (17071734784 bytes)
  (56) Multiprocessors, ( 64) CUDA Cores/MP:     3584 CUDA Cores
  GPU Max Clock rate:                            1329 MHz (1.33 GHz)
  Memory Clock rate:                             715 Mhz
  Memory Bus Width:                              4096-bit
  L2 Cache Size:                                 4194304 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 19 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
> Peer access from Tesla P100-PCIE-16GB (GPU0) -> Tesla P100-PCIE-16GB (GPU1) : No
> Peer access from Tesla P100-PCIE-16GB (GPU1) -> Tesla P100-PCIE-16GB (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.2, NumDevs = 2
Result = PASS

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

sudo chmod +x ./cuda_10.2.89_440.33.01_linux.run

# 安装CUDA

sudo sh ./cuda_10.2.89_440.33.01_linux.run

# 经过一小段时间的等待，会出现用户许可协议，输入accept然后回车继续。

# 之后会有安装选项，是一个文字模拟的选项界面。注意如果已经安装驱动，就不需要再次安装了！

# 安装完成后应该显示如下信息

===========

= Summary =

===========

Driver: Not Selected

Toolkit: Installed in /usr/local/cuda-10.2/

Samples: Installed in /home/ubuntu/

Please make sure that

- PATH includes /usr/local/cuda-10.2/bin

- LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.

***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.

To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:

sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行

sudo reboot

cd /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery

# 应该返回以下信息

./deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "Tesla P100-PCIE-16GB"

CUDA Driver Version / Runtime Version 10.2 / 10.2

CUDA Capability Major/Minor version number: 6.0

Total amount of global memory: 16281 MBytes (17071734784 bytes)

(56) Multiprocessors, ( 64) CUDA Cores/MP: 3584 CUDA Cores

GPU Max Clock rate: 1329 MHz (1.33 GHz)

Memory Clock rate: 715 Mhz

Memory Bus Width: 4096-bit

L2 Cache Size: 4194304 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 2048

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 2 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Enabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 11 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla P100-PCIE-16GB"

CUDA Driver Version / Runtime Version 10.2 / 10.2

CUDA Capability Major/Minor version number: 6.0

Total amount of global memory: 16281 MBytes (17071734784 bytes)

(56) Multiprocessors, ( 64) CUDA Cores/MP: 3584 CUDA Cores

GPU Max Clock rate: 1329 MHz (1.33 GHz)

Memory Clock rate: 715 Mhz

Memory Bus Width: 4096-bit

L2 Cache Size: 4194304 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 2048

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 2 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Enabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 19 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

> Peer access from Tesla P100-PCIE-16GB (GPU0) -> Tesla P100-PCIE-16GB (GPU1) : No

> Peer access from Tesla P100-PCIE-16GB (GPU1) -> Tesla P100-PCIE-16GB (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.2, NumDevs = 2

Result = PASS

「记录」解决Ubuntu Server 18.04因Intel微码修复无法启动问题

薛定谔的nil2021年1月21日 0 Comments

最近在重建学院GPU云，使用原来实验室云的双层虚拟化架构。原来实验室云使用的是基于ubuntu16的GPU服务器，21年再使用16版本就有点老了，准备换成ubuntu18，但是遇到一个奇怪的问题，在此记录一下。

问题的表现形式如下：

环境：
实体机：曙光天阔 W780-G20
操作系统： VMware ESXi, 6.7.0, 14320388
管理平台： VMware vCenter Server Appliance, 6.7.0, 15129973
虚拟机兼容性： ESXi 6.7 Update 2
虚拟机高级配置附加参数：
hypervisor.cpuid.v0 = FALSE
pciPassthru.use64bitMMIO = TRUE
虚拟机操作系统版本：Ubuntu Server 18.04.5 LTS
截止2021年1月20日，已更新所有最新包

当虚拟机CPU只给一个核心的时候，一切正常。当给2个或者更多核心的时候会出现无法启动的问题，显示如下：

经过排查发现问题触发的原因有两个：①虚拟机高级配置参数 hypervisor.cpuid.v0 = FALSE；②有2个或更多CPU核心

通过搜索找到两篇类似问题的文章：ESXi 6.7 ubuntu GPU直连踩坑记、VMware ESXi 6.7.0 update2 使用 GPU Passthrough 模式的坑。第一篇文章是通过更新esxi解决的，但是第一篇文章里更新后的esxi版本与我现在使用的是同一版本，所以解决方法对我不适用。第二篇文章将问题的根源指向了intel的漏洞修补微码软件包“intel-microcode”。

通过测试发现，无法启动的核心问题就是由“intel-microcode”导致的，该软件包是intel为了修补幽灵、熔断漏洞的补丁，应该是在启动之前执行某种防护操作。我测试时首先尝试卸载该软件包，并同时卸载依赖包，结果导致部分核心包被卸载，无法启动。之后测试只卸载该软件包，不卸载依赖，结果问题解决，确定问题核心就是该软件包导致。

为了解决问题，我首先想到的是在安装vsphere过程中被提示可能受intel的漏洞影响，所以我考虑可能是虚拟化平台的宿主机没有进行漏洞修补，而ubuntu虚拟机进行了漏洞修补，出现兼容性问题。为此我查阅了vsphere的文档，确定默认状态下vsphere6.7确实是不启用漏洞修补程序的。同时，我也发现启动修补程序会导致严重的性能损失，不适合我现在的场景。

之后，我考虑既然虚拟化平台没有进行漏洞修补，那关掉ubuntu虚拟机的漏洞修补应该可以解决问题。于是我阅读了第二篇文章中提到的讨论：Intel-microcode package upgrade in ubuntu 18.04 leads to unbootable system。根据这个讨论，可以通过更改grub参数的方式禁用微码修补，但是尝试了讨论中的解决方案和关联的解决方案，发现并没有效果。最终，我决定按照讨论中的最终解决方案，更换旧版本的二进制软件包。

解决方案：

# 查看已安装包的版本号
sudo apt list --installed | grep intel-microcode

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

intel-microcode/bionic-updates,bionic-security,now 3.20201110.0ubuntu0.18.04.2 amd64 [installed,automatic]

# 查看软件源中该软件包的所有支持版本
apt-cache madison Ubuntu Server
intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-updates/main amd64 Packages
intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-security/main amd64 Packages
intel-microcode | 3.20180312.0~ubuntu18.04.1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/main amd64 Packages
# 删除原有软件包
sudo apt remove intel-microcode
# 安装旧版软件包
sudo apt install intel-microcode=3.20180312.0~ubuntu18.04.1
# 禁止该软件包自动更新
sudo apt-mark hold intel-microcode

# 查看已安装包的版本号

sudo apt list --installed | grep intel-microcode

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

intel-microcode/bionic-updates,bionic-security,now 3.20201110.0ubuntu0.18.04.2 amd64 [installed,automatic]

# 查看软件源中该软件包的所有支持版本

apt-cache madison Ubuntu Server

intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-updates/main amd64 Packages

intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-security/main amd64 Packages

intel-microcode | 3.20180312.0~ubuntu18.04.1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/main amd64 Packages

# 删除原有软件包

sudo apt remove intel-microcode

# 安装旧版软件包

sudo apt install intel-microcode=3.20180312.0~ubuntu18.04.1

# 禁止该软件包自动更新

sudo apt-mark hold intel-microcode

「记录」博客重生记——Ubuntu 18.04安装LNMP+phpmyadmin

薛定谔的nil2019年1月29日 0 Comments

　　因为各种客观+主观的原因（chrome恶心的安全措施、长期没有对服务器系统进行升级、脑子被门夹了非要上https、海森堡编辑器全是bug、研二全是事情等等），我做了各种令人窒息的操作，导致我的站点和博客彻底凉凉。为了完成曾老师的作业，也为了能好好做记录，我终于下定决心把整个站点重建一遍。

　　其实最早只是想着从ubuntu16迁移到18，结果玩脱了。不过既然都上18了，再退到16岂不是坑都白踩了，而且16也不一定能活多久，干脆一步到位。

　　这次记录除了包括在ubuntu18上部署lnmp、phpmyadmin以外，还会有https站点迁移的内容，读者请各取所需。

首先安装 lnmp

sudo apt-get update

# 安装nginx
sudo apt-get install nginx

# 为了避免安装apache，分别安装php组件
sudo apt-get install php7.2-cli php7.2-cgi php7.2-fpm php7.2-mbstring php7.2-mysql curl php7.2-curl

# 安装mysql
# 要注意的一点是在ubuntu18安装mysql5.7的时候不会提示设置root密码，而是直接静默安装，这是正常的，安装完成后root账户没有密码，但只有ubuntu的root用户才可以用root登陆mysql，此外还有有一个debian系系统特有的账户，密码随机的写在一个配置文件里
sudo apt-get install mysql-server

# 配置nginx
# 直接移动文件夹或者删掉重建都行，不过移动的话记得给里面的示例文件改名
sudo mv /var/www /var/nginx
sudo mv /var/nginx/html /var/nginx/www
# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户
sudo chown -R ubuntu:ubuntu /var/nginx
sudo ln -s /var/nginx /nginx
sudo ln -s /var/nginx ~/nginx
sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup
sudo nano /etc/nginx/sites-available/default

sudo apt-get update

# 安装nginx

sudo apt-get install nginx

# 为了避免安装apache，分别安装php组件

sudo apt-get install php7.2-cli php7.2-cgi php7.2-fpm php7.2-mbstring php7.2-mysql curl php7.2-curl

# 安装mysql

# 要注意的一点是在ubuntu18安装mysql5.7的时候不会提示设置root密码，而是直接静默安装，这是正常的，安装完成后root账户没有密码，但只有ubuntu的root用户才可以用root登陆mysql，此外还有有一个debian系系统特有的账户，密码随机的写在一个配置文件里

sudo apt-get install mysql-server

# 配置nginx

# 直接移动文件夹或者删掉重建都行，不过移动的话记得给里面的示例文件改名

sudo mv /var/www /var/nginx

sudo mv /var/nginx/html /var/nginx/www

# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户

sudo chown -R ubuntu:ubuntu /var/nginx

sudo ln -s /var/nginx /nginx

sudo ln -s /var/nginx ~/nginx

sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup

sudo nano /etc/nginx/sites-available/default

下面给一个配置文件样本，是一个很早的原始版本，仅供测试参考

# Default server configuration
#
server {
	listen 80 default_server;
	listen [::]:80 default_server;
    
	root /var/nginx/www;
    
	# Add index.php to the list if you are using PHP
	index index.php index.html index.htm;
    
	server_name www.test.com test.com *.test.com;
    
	location / {
		# First attempt to serve request as file, then
		# as directory, then fall back to displaying a 404.
		try_files $uri $uri/ =404;
	}
    
	# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
	#
	location ~ \.php$ {
		include snippets/fastcgi-php.conf;
        
	#	# With php7.2-cgi alone:
	#	fastcgi_pass 127.0.0.1:9000;
	#	With php7.2-fpm:
		fastcgi_pass unix:/run/php/php7.2-fpm.sock;
	}
}

# Default server configuration

server {

listen 80 default_server;

listen [::]:80 default_server;

root /var/nginx/www;

# Add index.php to the list if you are using PHP

index index.php index.html index.htm;

server_name www.test.com test.com *.test.com;

location / {

# First attempt to serve request as file, then

# as directory, then fall back to displaying a 404.

try_files $uri $uri/ =404;

}

# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

location ~ \.php$ {

include snippets/fastcgi-php.conf;

# # With php7.2-cgi alone:

# fastcgi_pass 127.0.0.1:9000;

# With php7.2-fpm:

fastcgi_pass unix:/run/php/php7.2-fpm.sock;

}

有了简单配置之后可以测试下nginx和php了，一定先测试后迁移，因为在迁移过程中涉及的步骤和环节很多，而且中间几乎无法测试，一旦前期有问题最后都没法定位错误！

使用php探针测试会发现页面显示白页，nginx日志无问题，这是一个bug，解决方法如下

sudo nano /etc/nginx/fastcgi_params
# 文件末尾增加
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  PATH_INFO          $fastcgi_script_name;
# 重启服务
sudo service php7.2-fpm restart
sudo service nginx restart

sudo nano /etc/nginx/fastcgi_params

# 文件末尾增加

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

fastcgi_param PATH_INFO $fastcgi_script_name;

# 重启服务

sudo service php7.2-fpm restart

sudo service nginx restart

测试通过之后就可以开始迁移了，但是建议先把phpmyadmin装了，这样可以先配置数据库

cd /var/nginx/www/

# 下载地址去官方找最新的
wget https://files.phpmyadmin.net/phpMyAdmin/4.8.5/phpMyAdmin-4.8.5-all-languages.zip
unzip phpMyAdmin-4.8.5-all-languages.zip
mv ./phpMyAdmin-4.8.5-all-languages ./pma
# 这一步不是必须的
sudo chown www-data:www-data -R ./pma

# 因为mysql的新安全措施，phpmyadmin无法用root登陆，必须新建一个账户
# root没有密码，但必须sudo或以root身份登陆ubuntu
sudo mysql --user=root mysql
# 'phpmyadmin'@'localhost'是限定本地域登陆的'phpmyadmin'用户，@'localhost'可以不加，如果想换其他用户名只需要替换phpmyadmin
# your_pass替换成你要设定的密码
CREATE USER 'phpmyadmin'@'localhost' IDENTIFIED BY 'your_pass';
GRANT ALL PRIVILEGES ON *.* TO 'phpmyadmin'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

# 登陆phpmyadmin，如果提示“配置文件现在需要一个短语密码。”
cd /var/nginx/www/pma
sudo nano ./libraries/config.default.php
# 找到以下行，并修改: $cfg['blowfish_secret'] = 'your-url.com';
cp config.sample.inc.php config.inc.php
sudo nano ./config.inc.php
# 找到以下行，并修改: $cfg['blowfish_secret'] = '6OppxJrNhNcv2lEUTzRKavXIN6DcjJ1Y';
# 注意config.inc.php文件中的字符串必须是32位字符！

# 如果没有把phpmyadmin目录属主转移给www-data，还需要手动创建一个临时目录
mkdir ./tmp
sudo chown www-data:www-data -R ./tmp

cd /var/nginx/www/

# 下载地址去官方找最新的

wget https://files.phpmyadmin.net/phpMyAdmin/4.8.5/phpMyAdmin-4.8.5-all-languages.zip

unzip phpMyAdmin-4.8.5-all-languages.zip

mv ./phpMyAdmin-4.8.5-all-languages ./pma

# 这一步不是必须的

sudo chown www-data:www-data -R ./pma

# 因为mysql的新安全措施，phpmyadmin无法用root登陆，必须新建一个账户

# root没有密码，但必须sudo或以root身份登陆ubuntu

sudo mysql --user=root mysql

# 'phpmyadmin'@'localhost'是限定本地域登陆的'phpmyadmin'用户，@'localhost'可以不加，如果想换其他用户名只需要替换phpmyadmin

# your_pass替换成你要设定的密码

CREATE USER 'phpmyadmin'@'localhost' IDENTIFIED BY 'your_pass';

GRANT ALL PRIVILEGES ON *.* TO 'phpmyadmin'@'localhost' WITH GRANT OPTION;

FLUSH PRIVILEGES;

# 登陆phpmyadmin，如果提示“配置文件现在需要一个短语密码。”

cd /var/nginx/www/pma

sudo nano ./libraries/config.default.php

# 找到以下行，并修改: $cfg['blowfish_secret'] = 'your-url.com';

cp config.sample.inc.php config.inc.php

sudo nano ./config.inc.php

# 找到以下行，并修改: $cfg['blowfish_secret'] = '6OppxJrNhNcv2lEUTzRKavXIN6DcjJ1Y';

# 注意config.inc.php文件中的字符串必须是32位字符！

# 如果没有把phpmyadmin目录属主转移给www-data，还需要手动创建一个临时目录

mkdir ./tmp

sudo chown www-data:www-data -R ./tmp

终于可以开始迁移服务器了

# 迁移数据库
# 用phpmyadmin导入旧的数据库要保证php上传文件大小的限制已经被完全解除
sudo nano /etc/php/7.2/fpm/php.ini
# 修改以下行：
upload_max_filesize = 500m;
post_max_size = 500m;
max_execution_time = 600;
max_input_time = 600;
memory_limit = 512m;

# 迁移数据库

# 用phpmyadmin导入旧的数据库要保证php上传文件大小的限制已经被完全解除

sudo nano /etc/php/7.2/fpm/php.ini

# 修改以下行：

upload_max_filesize = 500m;

post_max_size = 500m;

max_execution_time = 600;

max_input_time = 600;

memory_limit = 512m;

完成数据库迁移之后，就是最关键的部分了，之后的步骤中间几乎完全不能调试

将整站数据上传至相应的服务器目录
修改目录属主和权限
将原服务器的nginx配置文件替换掉新服务器nginx的配置文件
修改新服务器nginx服务器文件，使得其中一些小条目符合新服务器配置
将ssl证书配置到相应目录
重启nginx
进入wordpress目录修改wp-config.php中的数据库连接信息
修改dns解析地址到新服务器
通过url访问页面测试

如果一切正常，恭喜你完成了全部步骤！

0. 准备工作

0.1. 主机BIOS设置

0.2. 配置PCI设备直通

0.3. 上传系统安装镜像

1. 创建虚拟机

1.1. 设置虚拟机引导方式为EFI

1.2. 设置虚拟机高级配置参数

1.3. 修改虚拟机兼容性

2. 安装操作系统

3. 为虚拟机添加显卡直通

3.1. 启用内存预留

3.2. 添加显卡设备

4. 安装NVIDIA驱动和CUDA

4.1. 检查GPU

4.2. 禁用nouveau

4.3. 安装依赖包

4.4. 安装NVIDIA驱动

4.5. 安装CUDA

解决方案：

其他操作