技术 – 📔独行看客的笔记本

「记录」群晖DSM7 SSO客户端对接Authing服务

薛定谔的nil2022年11月10日 0 Comments

为了方便老师登陆各种院内系统，跟学院申请购买了Authing的统一身份认证服务。其他购买的系统都可以让开发方对接，唯一麻烦的就是群晖的DSM，只能自己来了。

最终目标是想实现每一个用户，网页登陆群晖（及任何一个学院购买的系统）的时候直接微信扫码登陆，无需输入用户名密码。群晖相较于其他系统还有一个不同点，就是SMB服务必须输入用户名密码，所以要么从Authing直接获取带密码的用户信息，要么就得让从Authing登陆的用户能自己改密码。

关于群晖DSM的SSO客户端功能的资料非常少，群晖官方也是几句就把用户打发了，而且群晖公司从销售到技术都透着一股傲然于世的气息（虽然我打心眼里觉得他家NAS做的确实很好，但这种自以为已经能拳打EMC、脚踩HPE的态度实在让人想踩死他）。找遍全网只找到这篇资料比较靠谱，而且这篇资料的最终目标和我出奇的匹配，甚至我怀疑他也是和Authing对接。鉴于现在的局域网环境，我还是把原文截图转发过来。

虽然上面的资料和我的目标几乎完全相同，但这篇文章并没有详细描述所有在操作过程中可能遇到的坑，因此我觉得有必要记录一下我的踩坑过程。

1、群晖DSM7不支持用从SSO服务器获取的用户信息自动注册本地用户

这也是上述资料第一段所说的。详细解释就是：一个在Authing里设置好的用户，在登陆DSM之后，DSM并不会为这个用户自动创建一个本地用户，更不要提把这个本地用户和Authing的用户进行关联。这会导致一系列的麻烦，比如这个用户怎么设置DSM里共享文件夹的访问权限、这个用户怎么使用SMB服务等，这些问题很容易被忽略但又很致命（我一开始就没注意资料里第一段写了啥，都弄完才发现很重要）。

解决方法：先把DSM加入Authing的LDAP域，让DSM获取到Authing里配置好的用户、群组等信息，然后同时启用SSO客户端，并用一个唯一值进行用户关联。

2、群晖DSM本地用户和域用户冲突

当DSM本地和Authing用户池里同时有一个用户名为“张三”的用户时，会发生冲突。“张三”用户使用SSO方式进行登陆时，DSM会提示用户名密码错误。具体原因大约只有群晖工程师能解释，但我猜测是DSM没有将域用户和本地用户进行区分，导致用SSO登陆的重名用户匹配到本地用户鉴权信息上，最后鉴权失败。

解决方法：保证用户池里所有的用户名都不会出现在本地用户里。

3、配置DSM的LDAP客户端

配置LDAP客户端的最后一步是检测，会提示“不支持Samba架构”。这是由于Authing的LDAP实现问题，必须开启DSM的“启用 GIFS 明文密码验证”功能，才能通过检测。此处建议不开启，因为开启之后有安全风险。所以点详情，然后跳过。

之后还会提示另一个问题，同样方式处理，跳过。最后完成所有检测之后，点击确定。

4、在Authing添加自定义应用

往下找到认证配置，修改登陆回调地址！然后再点击其他配置！

【注意】在其他配置中只修改id_token签名算法！！！其余保持不变！完成后保存

5、配置DSM的SSO客户端

到此，就完成了所有操作，可以尝试使用Authing登陆DSM了！

「记录」使用PCI设备直通技术在vSphere中部署基于Ubuntu Server 1804的GPU服务器

薛定谔的nil2021年1月24日 0 Comments

大约在两年前我撰写了一篇文章记录我为实验室部署GPU云的核心过程。现在给学院部署GPU云，本以为可以照着原来的文章很顺利就可以装完，结果却搞得心态爆炸，一度怀疑人生，所以很有必要再写一篇记录一下。

环境：
实体机：曙光天阔 W780-G20
操作系统： VMware ESXi, 6.7.0, 14320388
管理平台： VMware vCenter Server Appliance, 6.7.0, 15129973
GPU：NVIDIA GP100GL [Tesla P100 PCIe 16GB] ×8

先简单说一下部署环境和上次的区别：第一是平台不再是商业大厂DELL EMC，很多文档资料缺失；第二是底层esxi和管理平台vcenter都升级到了6.7；第三是虚拟机准备安装Ubuntu Server 1804，之前的16在21年来看有点过老。最关键的是第四点：显卡质量和数量都上了一个巨大台阶，原来单台机器最多3卡（一个泰坦X，两个泰坦XP），遇到的显存最大的卡应该就是p40。当时在安装p40的时候就遇到奇怪的问题，为此还写了一篇记录文章。这次遇到的核心问题和p40那次应该是同一个，都是高级显卡显存过大，需要一些特定的底层配置参数，vmware专门有博客文章（下简称博文）进行了介绍，但是我一开始寻找解决方案的方向有很大偏差，绕了一大圈才找到。

0. 准备工作

0.1. 主机BIOS设置

根据博文内容，需要在运行虚拟GPU服务器的esxi主机的BIOS设置中查找并开启类似这样的选项：“above 4G decoding”、“memory mapped I/O above 4GB”、“PCI 64-bit resource handing above 4G”

0.2. 配置PCI设备直通

在esxi主机中配置好显卡的设备直通

0.3. 上传系统安装镜像

将ubuntu server 1804安装镜像上传到主机数据存储

1. 创建虚拟机

⚠️注意：必须在vsphere client中创建虚拟机，不可以在本地workstation创建虚拟机安装后再上传！

首先按照常规方法创建虚拟机，创建后不要启动！按以下步骤进行预先配置。

1.1. 设置虚拟机引导方式为EFI

在虚拟机页面，“操作”→“编辑设置”→“虚拟机选项”→“引导选项”→“固件”，选择“EFI”。

1.2. 设置虚拟机高级配置参数

在刚才1.1的“引导选项”下方找到“高级”，点击“配置参数”右侧的“编辑配置”，进入高级参数配置窗口。

在窗口中点击“添加配置参数”，然后添加2条：

pciPassthru.use64bitMMIO = "TRUE"
pciPassthru.64bitMMIOSizeGB = "[⚠️此处按需填写⚠️]"

1 2	pciPassthru.use64bitMMIO = "TRUE" pciPassthru.64bitMMIOSizeGB = "[⚠️此处按需填写⚠️]"

⚠️注意：“pciPassthru.64bitMMIOSizeGB”条目的值需要根据虚拟机具体直通的显卡型号和数量进行计算后得出！

博文中提供了一种简单估算方法：GPU个数 × 一块GPU的显存大小（GB为单位），然后将结果向上取整到下一个2的整数次幂。

例如，要给这个虚拟机直通两个p100显卡，则值应为：2 × 16 = 32，向上取整到下一个2的整数次幂，得到64。但如果是直通v100显卡，64则只能直通一块，因为v100单卡显存就是32G，想要直通两块就需要改为128。

⚠️注意：与通常情况不同的是不可以添加“hypervisor.cpuid.v0 = FALSE”参数！

1.3. 修改虚拟机兼容性

在虚拟机页面，“操作”→“兼容性”→“升级虚拟机兼容性”，打开“配置虚拟机兼容性窗口”。

将虚拟机兼容性改为：ESXi 6.7 Update 2 及更高版本

2. 安装操作系统

现在可以进行第一次开机，并按照提示安装操作系统。安装后，顺便进行基本的系统配置，例如换源、配置网络、软件包升级等。

3. 为虚拟机添加显卡直通

3.1. 启用内存预留

在虚拟机页面，“操作”→“编辑设置”→“虚拟硬件”→“内存”，勾选“预留所有客户机内存（全部锁定）”。

3.2. 添加显卡设备

在虚拟机页面，“操作”→“编辑设置”→“虚拟硬件”→“添加新设备”→“PCI 设备”，然后在PCI设备选项中选择需要添加的显卡。

4. 安装NVIDIA驱动和CUDA

4.1. 检查GPU

lspci | grep -i nvidia

1	lspci \| grep -i nvidia

4.2. 禁用nouveau

# 若有输出则表示nouveau正在加载，需要禁用。
lsmod | grep nouveau

sudo nano /etc/modprobe.d/blacklist-nouveau.conf
# 文件中添加以下内容
blacklist nouveau  
options nouveau modeset=0

# “4.15.0-134”可能会根据机器差异发送变化，需要到具体路径下确认。
cd /lib/modules/4.15.0-134-generic/kernel/drivers/gpu/drm/nouveau 
sudo rm -rf nouveau.ko 
sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf
# 文件末尾追加以下内容
blacklist rivafb
blacklist vga16fb
blacklist nouveau
blacklist nvidiafb
blacklist rivatv

# 更新并重启
sudo update-initramfs -u
sudo reboot

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

# 若有输出则表示nouveau正在加载，需要禁用。

lsmod | grep nouveau

sudo nano /etc/modprobe.d/blacklist-nouveau.conf

# 文件中添加以下内容

blacklist nouveau

options nouveau modeset=0

# “4.15.0-134”可能会根据机器差异发送变化，需要到具体路径下确认。

cd /lib/modules/4.15.0-134-generic/kernel/drivers/gpu/drm/nouveau

sudo rm -rf nouveau.ko

sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf

# 文件末尾追加以下内容

blacklist rivafb

blacklist vga16fb

blacklist nouveau

blacklist nvidiafb

blacklist rivatv

# 更新并重启

sudo update-initramfs -u

sudo reboot

4.3. 安装依赖包

sudo apt-get install linux-headers-$(uname -r)
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

1 2	sudo apt-get install linux-headers-$(uname -r) sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

4.4. 安装NVIDIA驱动

默认已经下载好驱动文件

sudo apt-get remove --purge nvidia-*

sudo chmod +x NVIDIA-Linux-x86_64-440.118.02.run
sudo ./NVIDIA-Linux-x86_64-440.118.02.run --no-x-check --no-nouveau-check --no-opengl-files

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行
sudo reboot
nvidia-smi
# 应该显示相应的显卡运行情况

1

2

3

4

5

6

7

8

9

10

11

sudo apt-get remove --purge nvidia-*

sudo chmod +x NVIDIA-Linux-x86_64-440.118.02.run

sudo ./NVIDIA-Linux-x86_64-440.118.02.run --no-x-check --no-nouveau-check --no-opengl-files

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行

sudo reboot

nvidia-smi

# 应该显示相应的显卡运行情况

4.5. 安装CUDA

sudo chmod +x ./cuda_10.2.89_440.33.01_linux.run

# 安装CUDA
sudo sh ./cuda_10.2.89_440.33.01_linux.run

# 经过一小段时间的等待，会出现用户许可协议，输入accept然后回车继续。
# 之后会有安装选项，是一个文字模拟的选项界面。注意如果已经安装驱动，就不需要再次安装了！

# 安装完成后应该显示如下信息
===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-10.2/
Samples:  Installed in /home/ubuntu/

Please make sure that
 -   PATH includes /usr/local/cuda-10.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log
# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行
sudo reboot
cd  /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
# 应该返回以下信息
./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "Tesla P100-PCIE-16GB"
  CUDA Driver Version / Runtime Version          10.2 / 10.2
  CUDA Capability Major/Minor version number:    6.0
  Total amount of global memory:                 16281 MBytes (17071734784 bytes)
  (56) Multiprocessors, ( 64) CUDA Cores/MP:     3584 CUDA Cores
  GPU Max Clock rate:                            1329 MHz (1.33 GHz)
  Memory Clock rate:                             715 Mhz
  Memory Bus Width:                              4096-bit
  L2 Cache Size:                                 4194304 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 11 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla P100-PCIE-16GB"
  CUDA Driver Version / Runtime Version          10.2 / 10.2
  CUDA Capability Major/Minor version number:    6.0
  Total amount of global memory:                 16281 MBytes (17071734784 bytes)
  (56) Multiprocessors, ( 64) CUDA Cores/MP:     3584 CUDA Cores
  GPU Max Clock rate:                            1329 MHz (1.33 GHz)
  Memory Clock rate:                             715 Mhz
  Memory Bus Width:                              4096-bit
  L2 Cache Size:                                 4194304 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 19 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
> Peer access from Tesla P100-PCIE-16GB (GPU0) -> Tesla P100-PCIE-16GB (GPU1) : No
> Peer access from Tesla P100-PCIE-16GB (GPU1) -> Tesla P100-PCIE-16GB (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.2, NumDevs = 2
Result = PASS

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

sudo chmod +x ./cuda_10.2.89_440.33.01_linux.run

# 安装CUDA

sudo sh ./cuda_10.2.89_440.33.01_linux.run

# 经过一小段时间的等待，会出现用户许可协议，输入accept然后回车继续。

# 之后会有安装选项，是一个文字模拟的选项界面。注意如果已经安装驱动，就不需要再次安装了！

# 安装完成后应该显示如下信息

===========

= Summary =

===========

Driver: Not Selected

Toolkit: Installed in /usr/local/cuda-10.2/

Samples: Installed in /home/ubuntu/

Please make sure that

- PATH includes /usr/local/cuda-10.2/bin

- LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.

***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.

To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:

sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行

sudo reboot

cd /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery

# 应该返回以下信息

./deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "Tesla P100-PCIE-16GB"

CUDA Driver Version / Runtime Version 10.2 / 10.2

CUDA Capability Major/Minor version number: 6.0

Total amount of global memory: 16281 MBytes (17071734784 bytes)

(56) Multiprocessors, ( 64) CUDA Cores/MP: 3584 CUDA Cores

GPU Max Clock rate: 1329 MHz (1.33 GHz)

Memory Clock rate: 715 Mhz

Memory Bus Width: 4096-bit

L2 Cache Size: 4194304 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 2048

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 2 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Enabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 11 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "Tesla P100-PCIE-16GB"

CUDA Driver Version / Runtime Version 10.2 / 10.2

CUDA Capability Major/Minor version number: 6.0

Total amount of global memory: 16281 MBytes (17071734784 bytes)

(56) Multiprocessors, ( 64) CUDA Cores/MP: 3584 CUDA Cores

GPU Max Clock rate: 1329 MHz (1.33 GHz)

Memory Clock rate: 715 Mhz

Memory Bus Width: 4096-bit

L2 Cache Size: 4194304 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 2048

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 2 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Enabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 19 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

> Peer access from Tesla P100-PCIE-16GB (GPU0) -> Tesla P100-PCIE-16GB (GPU1) : No

> Peer access from Tesla P100-PCIE-16GB (GPU1) -> Tesla P100-PCIE-16GB (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.2, NumDevs = 2

Result = PASS

「记录」解决Ubuntu Server 18.04因Intel微码修复无法启动问题

薛定谔的nil2021年1月21日 0 Comments

最近在重建学院GPU云，使用原来实验室云的双层虚拟化架构。原来实验室云使用的是基于ubuntu16的GPU服务器，21年再使用16版本就有点老了，准备换成ubuntu18，但是遇到一个奇怪的问题，在此记录一下。

问题的表现形式如下：

环境：
实体机：曙光天阔 W780-G20
操作系统： VMware ESXi, 6.7.0, 14320388
管理平台： VMware vCenter Server Appliance, 6.7.0, 15129973
虚拟机兼容性： ESXi 6.7 Update 2
虚拟机高级配置附加参数：
hypervisor.cpuid.v0 = FALSE
pciPassthru.use64bitMMIO = TRUE
虚拟机操作系统版本：Ubuntu Server 18.04.5 LTS
截止2021年1月20日，已更新所有最新包

当虚拟机CPU只给一个核心的时候，一切正常。当给2个或者更多核心的时候会出现无法启动的问题，显示如下：

经过排查发现问题触发的原因有两个：①虚拟机高级配置参数 hypervisor.cpuid.v0 = FALSE；②有2个或更多CPU核心

通过搜索找到两篇类似问题的文章：ESXi 6.7 ubuntu GPU直连踩坑记、VMware ESXi 6.7.0 update2 使用 GPU Passthrough 模式的坑。第一篇文章是通过更新esxi解决的，但是第一篇文章里更新后的esxi版本与我现在使用的是同一版本，所以解决方法对我不适用。第二篇文章将问题的根源指向了intel的漏洞修补微码软件包“intel-microcode”。

通过测试发现，无法启动的核心问题就是由“intel-microcode”导致的，该软件包是intel为了修补幽灵、熔断漏洞的补丁，应该是在启动之前执行某种防护操作。我测试时首先尝试卸载该软件包，并同时卸载依赖包，结果导致部分核心包被卸载，无法启动。之后测试只卸载该软件包，不卸载依赖，结果问题解决，确定问题核心就是该软件包导致。

为了解决问题，我首先想到的是在安装vsphere过程中被提示可能受intel的漏洞影响，所以我考虑可能是虚拟化平台的宿主机没有进行漏洞修补，而ubuntu虚拟机进行了漏洞修补，出现兼容性问题。为此我查阅了vsphere的文档，确定默认状态下vsphere6.7确实是不启用漏洞修补程序的。同时，我也发现启动修补程序会导致严重的性能损失，不适合我现在的场景。

之后，我考虑既然虚拟化平台没有进行漏洞修补，那关掉ubuntu虚拟机的漏洞修补应该可以解决问题。于是我阅读了第二篇文章中提到的讨论：Intel-microcode package upgrade in ubuntu 18.04 leads to unbootable system。根据这个讨论，可以通过更改grub参数的方式禁用微码修补，但是尝试了讨论中的解决方案和关联的解决方案，发现并没有效果。最终，我决定按照讨论中的最终解决方案，更换旧版本的二进制软件包。

解决方案：

# 查看已安装包的版本号
sudo apt list --installed | grep intel-microcode

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

intel-microcode/bionic-updates,bionic-security,now 3.20201110.0ubuntu0.18.04.2 amd64 [installed,automatic]

# 查看软件源中该软件包的所有支持版本
apt-cache madison Ubuntu Server
intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-updates/main amd64 Packages
intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-security/main amd64 Packages
intel-microcode | 3.20180312.0~ubuntu18.04.1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/main amd64 Packages
# 删除原有软件包
sudo apt remove intel-microcode
# 安装旧版软件包
sudo apt install intel-microcode=3.20180312.0~ubuntu18.04.1
# 禁止该软件包自动更新
sudo apt-mark hold intel-microcode

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

# 查看已安装包的版本号

sudo apt list --installed | grep intel-microcode

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

intel-microcode/bionic-updates,bionic-security,now 3.20201110.0ubuntu0.18.04.2 amd64 [installed,automatic]

# 查看软件源中该软件包的所有支持版本

apt-cache madison Ubuntu Server

intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-updates/main amd64 Packages

intel-microcode | 3.20201110.0ubuntu0.18.04.2 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic-security/main amd64 Packages

intel-microcode | 3.20180312.0~ubuntu18.04.1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/main amd64 Packages

# 删除原有软件包

sudo apt remove intel-microcode

# 安装旧版软件包

sudo apt install intel-microcode=3.20180312.0~ubuntu18.04.1

# 禁止该软件包自动更新

sudo apt-mark hold intel-microcode

RouterOS配置教育网IPv6直通

薛定谔的nil2019年8月25日 0 Comments

　　前几天终于下定决心升级了自己的网络设备，一方面已经种草很久了，另外一方面实验室的网络也需要进一步优化，先用自己的设备进行学习和实践可以省很多乱七八糟的问题（恩，一定是在给自己花钱找借口……）。

　　这次升级了两个设备，其中之一就是MikroTik公司的高性能路由器RB4011iGS+RM，据说是刚发布一年，性能看参数似乎不错，但玩路由器玩的实在有限，既无法给出感性的区别，也不会进行详细的性能试验。那为什么选择这个路由器而不是更便宜的款式呢？我主要是看上了他多达10个网口以及最关键的万兆光口。由于内置的是官方的RouterOS，每一个网口都是一个全功能独立网卡，对于以后进行双栈甚至多栈非常有用（同时拉3根不同运营商的宽带进来，想想都刺激，钱嘛，你说什么？）。同时，万兆光口对于以后万兆内网的构建非常有用，对于这种网络设备基本计划寿命都在十年以上，所以有一些性能预留还是很有必要的。

　　说了这么多废话下面进入正题，在配置完基本网络之后，开始准备配置教育网重要特色IPv6，这时我遇到非常诡异的问题。首先就是无法获取到v6地址，我几乎尝试了网上能找到的所有教程提供的方法，试了ROS中v6设置所有的可选项，但是路由器还是无法成功获取到v6地址或v6地址池。一般情况下教育网v6在我所在学校里是可以自动获取到的，但具体的分发方法我到现在也没搞清楚，虽然我自学了一些v6网络的知识，但是网络中心给的信息非wan常quan有mei限you，所以要高明白可能需要从校园网抓包分析，不到万不得已我肯定不会这么做。除了尝试让ROS获取v6地址，我还尝试了直接中继DHCPv6，虽然网上很多资料都说不可以这样操作，结果呢肯定是不行。

　　在经过了一天的折腾以后，我开始扩大资料查找范围，我逐渐发现ROS的v6是有缺陷的。具体的资料我没保存，因为可信度都多少有缺陷，大概意思就是教育网的v6的某些特性，在ROS中没有得到支持；同时，ROS内的v6在地址获取和DHCPv6中继的功能中存在bug。所以，结论就是ROS现阶段（v6.44）无法按正常方式使用教育网v6.

　　但是我显然不甘心这样，同时ROS强大的自由度怎么会导致连这么个问题都解决不了呢，一定有别的方法可以绕过这些问题。下面给出我最后的解决方法：

1、首先创建一个wan网桥，也可以理解为创建一个路由器的前置交换机。这个wan桥，包括原来的wan口，还要有一个闲置网口，作为v6流量专用网口。

2、修复防火墙里原有的nat设置。在完成第一步之后，会发现原有的v4网络不正常，这是因为原有的nat地址转换配置的出口网卡原来绑定的wan口被新建的wan桥连接，只需要将原来nat策略中的出口网卡改为新的wan桥即可。

3、阻断所有非v6流量。

~~在桥的过滤器设置中，添加两条规则，禁止v6流量专用网卡上的非v6流量。~~

经过实践发现在桥上禁止流量并不好用，不知道是什么原因，可能我的配置有问题。最终解决方案是在下级的网管交换机上配置安全规则。

4、最后用网线将v6流量专用接口和内网交换机连接起来。这样内网的所有设备应该都可以直接获取到教育网的v6终端地址了。

　　这个解决方案的原理其实很简单，就是ROS的v6路由不是有问题无法正常工作么，那么我们能不能直接让教育网v6跨过ROS的路由，创造一个单独的v6交换机，把v6流量接到内网。通过上面的操作，相当于所有的设备在v4层面上都通过ROS的路由连接校园网，v6层面上则直接通过交换机连接到校园网。

[记录]配置Docker出现的错误

薛定谔的nil2019年5月22日 0 Comments

　　为了方便管理实验室的GPU资源，上了多层虚拟化，在部署和运维Docker节点的过程中踩了一些坑，在这记录一下，以便日后查阅。

1、Docker服务无法启动

sudo service docker start

# systemctl status docker.service
systemd[1]: Failed to start Docker Application Container Engine.
systemd[1]: docker.service: Unit entered failed state.
systemd[1]: docker.service: Failed with result 'start-limit-hit'.

# journalctl -xe
dockerd[3285]: unable to configure the Docker daemon with file etc/docker/daemon.json: the following directives are specified both as a flag and in the configuration file: hosts: (from flag: [fd://], from file: [unix:///var/run/docker.sock tcp://0.0.0.0:56379])
systemd[1]: docker.service: Main process exited, code=exited, status=1/FAILURE
systemd[1]: Failed to start Docker Application Container Engine.

1

2

3

4

5

6

7

8

9

10

11

sudo service docker start

# systemctl status docker.service

systemd[1]: Failed to start Docker Application Container Engine.

systemd[1]: docker.service: Unit entered failed state.

systemd[1]: docker.service: Failed with result 'start-limit-hit'.

# journalctl -xe

dockerd[3285]: unable to configure the Docker daemon with file etc/docker/daemon.json: the following directives are specified both as a flag and in the configuration file: hosts: (from flag: [fd://], from file: [unix:///var/run/docker.sock tcp://0.0.0.0:56379])

systemd[1]: docker.service: Main process exited, code=exited, status=1/FAILURE

systemd[1]: Failed to start Docker Application Container Engine.

问题定位： Docker启动的时候传入了命令行参数，同时也指定了配置文件，两个配置发生了冲突。

解决方法：

sudo nano /lib/systemd/system/docker.service

# ExecStart=/usr/bin/dockerd -H fd://
# 改为
# ExecStart=/usr/bin/dockerd
# # -H fd://

sudo systemctl daemon-reload
sudo service docker restart

1

2

3

4

5

6

7

8

9

sudo nano /lib/systemd/system/docker.service

# ExecStart=/usr/bin/dockerd -H fd://

# 改为

# ExecStart=/usr/bin/dockerd

# # -H fd://

sudo systemctl daemon-reload

sudo service docker restart

[记录]英伟达Tesla K80显卡直通出现未知错误

薛定谔的nil2019年5月21日 0 Comments

　　实验室添置了新显卡，超微塔式服务器没地方了，只好把旧显卡换到戴尔刀片里，之后在做显卡直通的时候遇到一些莫名其妙的问题，折腾了好久才解决，在这记录一下。

环境：
实体机：DELL PowerEdge R730
操作系统： VMware ESXi, 6.5.0, 6765664
管理平台： VMware vCenter Server Appliance, 6.7.0.21000, 11726888
设备： Nvidia Tesla K80

　　问题是这样的：在主机上开虚拟机，并直通其他PCI设备（usb控制器），一切正常，且虚拟机正常启动，正常识别设备。给虚拟机直通Nvidia Tesla K80，虚拟机无法开机，报未知异常，如下图：

　　尝试了很多国内外常见的解决方案都无法生效。怀疑是跟显卡型号有关，最后在官方社区找到一个出现完全相同问题的讨论：Passing through Tesla k80 Issue…。下面有一个官方人员的回答是：

Re: Passing through Tesla k80 Issue…
A previous version of this post included advice to add two VMX file entries (efi.legacyBoot.enabled and efi.bootOrder) as part of the solution. These two settings should NOT be used. Instead, following the directions below.
——–
You should be able to pass a single GPU (that is, half of a K80) to a VM running on ESX 6 by creating an EFI-bootable VM, doing an EFI installation of your guest OS, and then adding the following to the VM’s VMX file.
pciPassthru.use64bitMMIO=”TRUE”
Trying to pass more than one of these GPUs into the same VM will currently hit a platform memory limit and the VM will fail to boot. (NOTE: This limit has been removed in ESX 6.5).
A smaller card like the K2 does not have this issue: GPGPU Blog Entry
If the above does not work for you, send me email directly at “simons at vmware dot com”. In either case, please share your experience with others on the thread.
And if you have any other questions about running HPC applications in a VMware environment, I’d be happy to hear from you directly.
If you are interested in learning more of what we’ve been doing related to HPC, you can check out our HPC entries on the VMware CTO blog site here: HPC Blog Entries

Josh Simons
High Performance Computing
Office of the CTO
VMware, Inc.

　　关键是要添加以下高级参数：

pciPassthru.use64bitMMIO = "TRUE"

1	pciPassthru.use64bitMMIO = "TRUE"

「记录」在vSphere中基于Ubuntu Server 1604部署Docker，并安装CUDA，构建多层虚拟化深度学习开发环境

薛定谔的nil2019年2月25日 0 Comments

首先准备好Ubuntu Server 1604的虚拟机，只设定基本功能，不添加显卡直通等特殊功能，以便于基础环境完成后进行快照。

安装好系统后，进行ssh端口设置，apt换源，apt upgrade等基本操作，之后关机打快照。

1、显卡直通

1.1、添加显卡直通

勾选“预留所有客户机内存（全部锁定）”，并添加显卡PCI设备，确定修改。不在第一步直通显卡的话，之后的驱动安装可能有问题！

1.2、修改虚拟机硬件配置参数

切换到“虚拟机硬件”选项卡。展开“高级”，修改“配置参数”。在打开的“配置参数”对话框中，点击“添加配置参数”，填入“
hypervisor.cpuid.v0 = FALSE”，确定修改。完成后务必再次进入“配置参数”，检查参数确实已经添加并保存！

1.3、启动虚拟机并配置基本环境

配置网络、换源、更新软件包等

完成基本配置后建议对虚拟机生成快照！

2、安装显卡驱动

2.1、下载驱动

可以在 NVIDIA驱动下载或者 Geforce显卡驱动下载页面搜索并下载需要的驱动程序，也可以通过直接拼接资源链接：
http://cn.download.nvidia.com/XFree86/Linux-x86_64/[驱动版本号]/NVIDIA-Linux-x86_64-[驱动版本号].run，进行下载。比如我要下载430.14版本号的Linux驱动，可以直接在服务器运行以下代码：

cd ~/downloads
wget https://cn.download.nvidia.cn/XFree86/Linux-x86_64/430.14/NVIDIA-Linux-x86_64-430.14.run

1 2	cd ~/downloads wget https://cn.download.nvidia.cn/XFree86/Linux-x86_64/430.14/NVIDIA-Linux-x86_64-430.14.run

2.2、检查GPU

应该显示相应的PCI设备

lspci | grep -i nvidia

1	lspci \| grep -i nvidia

2.3、禁用nouveau

# 若有输出则表示nouveau正在加载，需要禁用。
lsmod | grep nouveau

cd /etc/modprobe.d
sudo touch blacklist-nouveau.conf
sudo nano blacklist-nouveau.conf
# 文件中添加以下内容
blacklist nouveau  
options nouveau modeset=0

# “4.4.0-83”可能会根据机器差异发送变化，需要到具体路径下确认。
cd /lib/modules/4.4.0-83-generic/kernel/drivers/gpu/drm/nouveau 
sudo rm -rf nouveau.ko 
sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf
# 文件末尾追加以下内容
blacklist rivafb
blacklist vga16fb
blacklist nouveau
blacklist nvidiafb
blacklist rivatv

# 更新并重启
sudo update-initramfs -u
sudo reboot

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# 若有输出则表示nouveau正在加载，需要禁用。

lsmod | grep nouveau

cd /etc/modprobe.d

sudo touch blacklist-nouveau.conf

sudo nano blacklist-nouveau.conf

# 文件中添加以下内容

blacklist nouveau

options nouveau modeset=0

# “4.4.0-83”可能会根据机器差异发送变化，需要到具体路径下确认。

cd /lib/modules/4.4.0-83-generic/kernel/drivers/gpu/drm/nouveau

sudo rm -rf nouveau.ko

sudo rm -rf nouveau.ko.org

sudo nano /etc/modprobe.d/blacklist.conf

# 文件末尾追加以下内容

blacklist rivafb

blacklist vga16fb

blacklist nouveau

blacklist nvidiafb

blacklist rivatv

# 更新并重启

sudo update-initramfs -u

sudo reboot

2.3、安装显卡驱动

sudo apt-get remove --purge nvidia-*
cd ~/downloads
sudo chmod +x NVIDIA-Linux-x86_64-430.14.run
sudo ./NVIDIA-Linux-x86_64-430.14.run --no-x-check --no-nouveau-check --no-opengl-files
# --no-x-check 安装驱动时关闭X服务
# --no-nouveau-check 安装驱动时禁用nouveau
# --no-opengl-files 只安装驱动文件，不安装OpenGL文件

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行
sudo reboot
nvidia-smi
# 应该显示相应的显卡运行情况

1

2

3

4

5

6

7

8

9

10

11

12

13

14

sudo apt-get remove --purge nvidia-*

cd ~/downloads

sudo chmod +x NVIDIA-Linux-x86_64-430.14.run

sudo ./NVIDIA-Linux-x86_64-430.14.run --no-x-check --no-nouveau-check --no-opengl-files

# --no-x-check 安装驱动时关闭X服务

# --no-nouveau-check 安装驱动时禁用nouveau

# --no-opengl-files 只安装驱动文件，不安装OpenGL文件

# 随后会进入一个简陋的彩色界面，根据它的指示安装就可以了。

# 重启，检查驱动是否已正常运行

sudo reboot

nvidia-smi

# 应该显示相应的显卡运行情况

安装完驱动建议对虚拟机生成快照！

然后开机安装docker，去清华源帮助文档里找清华源安装方法。安装好之后配置docker远程管理，参考“docker 配置 TLS 认证开启远程访问”和“Docker 守护进程+远程连接+安全访问+启动冲突解决办法 (完整收藏版)”。配置好docker之后关机打快照。

~~在ESXi中添加显卡直通，并启动。~~

2020年6月28日补充

2.4、安装CUDA

本处使用的CUDA安装文件是文章在19年6月初次完成时下载的，因此安装方法也是当时的安装方法。根据从英伟达官网的CUDA安装文档来看，最新的推荐安装方式似乎变成了用apt包管理器安装。但是根据最新的安装文档，我在操作过程中出现了两个问题：首先是所有的下载资源（包括软件源证书和软件包）都无法在中国大陆正常下载；另一个是安装后server系统会出现GUI界面。因此，我决定使用去年的安装包和安装方法。

cd ~/downloads
sudo chmod +x ./cuda_10.0.130_410.48_linux.run
# 安装依赖包
sudo apt-get install linux-headers-$(uname -r)
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
# 安装CUDA
sudo sh ./cuda_10.0.130_410.48_linux.run

# 经过一小段时间的等待，会出现一个非常长的用户许可协议，按住回车键直到协议走完，不用担心按过头，最后需要输入accept才会继续。
# 之后会有安装选项，类似下面的内容。注意如果已经安装驱动，就不需要再次安装了！
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 410.48?
(y)es/(n)o/(q)uit: n

Install the CUDA 10.0 Toolkit?
(y)es/(n)o/(q)uit: y

Enter Toolkit Location
 [ default is /usr/local/cuda-10.0 ]: 

Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y

Install the CUDA 10.0 Samples?
(y)es/(n)o/(q)uit: y

Enter CUDA Samples Location
 [ default is /home/ubuntu ]: 

Installing the CUDA Toolkit in /usr/local/cuda-10.0 ...
Installing the CUDA Samples in /home/ubuntu ...
Copying samples to /home/ubuntu/NVIDIA_CUDA-10.0_Samples now...
Finished copying samples.

# 安装完成后应该显示如下信息
===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-10.0
Samples:  Installed in /home/ubuntu

Please make sure that
 -   PATH includes /usr/local/cuda-10.0/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.0/lib64, or, add /usr/local/cuda-10.0/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-10.0/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.0/doc/pdf for detailed information on setting up CUDA.

***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 384.00 is required for CUDA 10.0 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_6983.log
# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行
sudo reboot
cd  /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
# 应该返回以下信息
./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "GeForce RTX 2080 Ti"
  CUDA Driver Version / Runtime Version          10.2 / 10.0
  CUDA Capability Major/Minor version number:    7.5
  Total amount of global memory:                 11019 MBytes (11554717696 bytes)
  (68) Multiprocessors, ( 64) CUDA Cores/MP:     4352 CUDA Cores
  GPU Max Clock rate:                            1545 MHz (1.54 GHz)
  Memory Clock rate:                             7000 Mhz
  Memory Bus Width:                              352-bit
  L2 Cache Size:                                 5767168 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1024
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 3 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 3 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "GeForce RTX 2080 Ti"
  CUDA Driver Version / Runtime Version          10.2 / 10.0
  CUDA Capability Major/Minor version number:    7.5
  Total amount of global memory:                 11019 MBytes (11554717696 bytes)
  (68) Multiprocessors, ( 64) CUDA Cores/MP:     4352 CUDA Cores
  GPU Max Clock rate:                            1545 MHz (1.54 GHz)
  Memory Clock rate:                             7000 Mhz
  Memory Bus Width:                              352-bit
  L2 Cache Size:                                 5767168 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1024
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 3 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 4 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
> Peer access from GeForce RTX 2080 Ti (GPU0) -> GeForce RTX 2080 Ti (GPU1) : No
> Peer access from GeForce RTX 2080 Ti (GPU1) -> GeForce RTX 2080 Ti (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.0, NumDevs = 2
Result = PASS

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

cd ~/downloads

sudo chmod +x ./cuda_10.0.130_410.48_linux.run

# 安装依赖包

sudo apt-get install linux-headers-$(uname -r)

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

# 安装CUDA

sudo sh ./cuda_10.0.130_410.48_linux.run

# 经过一小段时间的等待，会出现一个非常长的用户许可协议，按住回车键直到协议走完，不用担心按过头，最后需要输入accept才会继续。

# 之后会有安装选项，类似下面的内容。注意如果已经安装驱动，就不需要再次安装了！

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 410.48?

(y)es/(n)o/(q)uit: n

Install the CUDA 10.0 Toolkit?

(y)es/(n)o/(q)uit: y

Enter Toolkit Location

[ default is /usr/local/cuda-10.0 ]:

Do you want to install a symbolic link at /usr/local/cuda?

(y)es/(n)o/(q)uit: y

Install the CUDA 10.0 Samples?

(y)es/(n)o/(q)uit: y

Enter CUDA Samples Location

[ default is /home/ubuntu ]:

Installing the CUDA Toolkit in /usr/local/cuda-10.0 ...

Installing the CUDA Samples in /home/ubuntu ...

Copying samples to /home/ubuntu/NVIDIA_CUDA-10.0_Samples now...

Finished copying samples.

# 安装完成后应该显示如下信息

===========

= Summary =

===========

Driver: Not Selected

Toolkit: Installed in /usr/local/cuda-10.0

Samples: Installed in /home/ubuntu

Please make sure that

- PATH includes /usr/local/cuda-10.0/bin

- LD_LIBRARY_PATH includes /usr/local/cuda-10.0/lib64, or, add /usr/local/cuda-10.0/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-10.0/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.0/doc/pdf for detailed information on setting up CUDA.

***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 384.00 is required for CUDA 10.0 functionality to work.

To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:

sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_6983.log

# 安装完成后应该还需要配置环境变量等操作，但我不需要在宿主机运行cuda，因此略过。

# 重启，检查CUDA是否已正常运行

sudo reboot

cd /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery

# 应该返回以下信息

./deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 2 CUDA Capable device(s)

Device 0: "GeForce RTX 2080 Ti"

CUDA Driver Version / Runtime Version 10.2 / 10.0

CUDA Capability Major/Minor version number: 7.5

Total amount of global memory: 11019 MBytes (11554717696 bytes)

(68) Multiprocessors, ( 64) CUDA Cores/MP: 4352 CUDA Cores

GPU Max Clock rate: 1545 MHz (1.54 GHz)

Memory Clock rate: 7000 Mhz

Memory Bus Width: 352-bit

L2 Cache Size: 5767168 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 1024

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 3 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Disabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 3 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

Device 1: "GeForce RTX 2080 Ti"

CUDA Driver Version / Runtime Version 10.2 / 10.0

CUDA Capability Major/Minor version number: 7.5

Total amount of global memory: 11019 MBytes (11554717696 bytes)

(68) Multiprocessors, ( 64) CUDA Cores/MP: 4352 CUDA Cores

GPU Max Clock rate: 1545 MHz (1.54 GHz)

Memory Clock rate: 7000 Mhz

Memory Bus Width: 352-bit

L2 Cache Size: 5767168 bytes

Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)

Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers

Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers

Total amount of constant memory: 65536 bytes

Total amount of shared memory per block: 49152 bytes

Total number of registers available per block: 65536

Warp size: 32

Maximum number of threads per multiprocessor: 1024

Maximum number of threads per block: 1024

Max dimension size of a thread block (x,y,z): (1024, 1024, 64)

Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)

Maximum memory pitch: 2147483647 bytes

Texture alignment: 512 bytes

Concurrent copy and kernel execution: Yes with 3 copy engine(s)

Run time limit on kernels: No

Integrated GPU sharing Host Memory: No

Support host page-locked memory mapping: Yes

Alignment requirement for Surfaces: Yes

Device has ECC support: Disabled

Device supports Unified Addressing (UVA): Yes

Device supports Compute Preemption: Yes

Supports Cooperative Kernel Launch: Yes

Supports MultiDevice Co-op Kernel Launch: Yes

Device PCI Domain ID / Bus ID / location ID: 0 / 4 / 0

Compute Mode:

< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

> Peer access from GeForce RTX 2080 Ti (GPU0) -> GeForce RTX 2080 Ti (GPU1) : No

> Peer access from GeForce RTX 2080 Ti (GPU1) -> GeForce RTX 2080 Ti (GPU0) : No

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.0, NumDevs = 2

Result = PASS

安装完CUDA建议对虚拟机生成快照！

3、安装Docker

3.1、安装Docker

根据清华开源镜像站的帮助文档，安装Docker。

3.2、安装nvidia-docker

cd ~
# 添加软件源
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update
sudo apt-get install -y nvidia-docker2

# 修改docker配置
sudo pkill -SIGHUP dockerd
sudo nano /etc/docker/daemon.json
# 配置文件样例，$端口号是你设定的端口号
{
    "hosts": ["unix:///var/run/docker.sock", "tcp://0.0.0.0:$端口号"],
    "registry-mirrors": ["https://******.mirror.aliyuncs.com"],
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
# 主配置文件的启动参数和上述配置有冲突，重启docker会导致如下报错：
Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details.
# 因此，同时修改主配置文件
sudo nano /lib/systemd/system/docker.service
# 修改ExecStart参数为如下样式：
ExecStart=/usr/bin/dockerd
# -H fd:// --containerd=/run/containerd/containerd.sock

# 刷新配置，重启docker
systemctl daemon-reload
sudo systemctl restart docker

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

cd ~

# 添加软件源

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y nvidia-docker2

# 修改docker配置

sudo pkill -SIGHUP dockerd

sudo nano /etc/docker/daemon.json

# 配置文件样例，$端口号是你设定的端口号

{

"hosts": ["unix:///var/run/docker.sock", "tcp://0.0.0.0:$端口号"],

"registry-mirrors": ["https://******.mirror.aliyuncs.com"],

"default-runtime": "nvidia",

"runtimes": {

"nvidia": {

"path": "nvidia-container-runtime",

"runtimeArgs": []

}

# 主配置文件的启动参数和上述配置有冲突，重启docker会导致如下报错：

Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details.

# 因此，同时修改主配置文件

sudo nano /lib/systemd/system/docker.service

# 修改ExecStart参数为如下样式：

ExecStart=/usr/bin/dockerd

# -H fd:// --containerd=/run/containerd/containerd.sock

# 刷新配置，重启docker

systemctl daemon-reload

sudo systemctl restart docker

安装并配置好docker建议对虚拟机生成快照！

4、配置TLS远程管理，及Portainer接入

配置TLS远程管理是在Docker服务器（运行docker守护进程的服务器）进行配置，因此下面的$HOST是Docker服务器的IP！

4.1、修改openssl配置的CA部分

ubuntu 16.04 下 openssl 配置文件位置：/usr/lib/ssl/openssl.cnf，其他系统可参考

sudo su
nano /usr/lib/ssl/openssl.cnf
# 修改以下部分，路径仅作示例
[ CA_default ]
dir = /etc/openssl

# 创建相关目录和文件
mkdir /etc/openssl
cd /etc/openssl
mkdir -p {certs,private,tls,crl,newcerts}
# 注意serial要有数字，不然会报错
echo 00 > serial
touch index.txt

1

2

3

4

5

6

7

8

9

10

11

12

13

sudo su

nano /usr/lib/ssl/openssl.cnf

# 修改以下部分，路径仅作示例

[ CA_default ]

dir = /etc/openssl

# 创建相关目录和文件

mkdir /etc/openssl

cd /etc/openssl

mkdir -p {certs,private,tls,crl,newcerts}

# 注意serial要有数字，不然会报错

echo 00 > serial

touch index.txt

4.2、生成私钥并自签证书

# 生成CA私钥，必须设定一个CA私钥密码，该密码很重要，之后的步骤要输入
openssl genrsa -out private/cakey.pem -des 4096
# 返回如下内容
Generating RSA private key, 4096 bit long modulus
..............++
.........................................................................................................................++
e is 65537 (0x10001)
Enter pass phrase for private/cakey.pem:
Verifying - Enter pass phrase for private/cakey.pem:

# 用CA自签证书
openssl req -new -x509 -key private/cakey.pem -days 3650 -out cacert.pem
# 返回如下内容
# 执行后首先会要求输入CA私钥密码
Enter pass phrase for private/cakey.pem:
# 之后会要求填写一些信息，其中Common Name为必填项！$HOST是Docker服务器（运行docker守护进程的服务器）的IP
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:CN
State or Province Name (full name) [Some-State]:Beijing
Locality Name (eg, city) []:Beijing
Organization Name (eg, company) [Internet Widgits Pty Ltd]:BISTU
Organizational Unit Name (eg, section) []:PCIJLab
Common Name (e.g. server FQDN or YOUR name) []:$HOST
Email Address []:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

# 生成CA私钥，必须设定一个CA私钥密码，该密码很重要，之后的步骤要输入

openssl genrsa -out private/cakey.pem -des 4096

# 返回如下内容

Generating RSA private key, 4096 bit long modulus

..............++

.........................................................................................................................++

e is 65537 (0x10001)

Enter pass phrase for private/cakey.pem:

Verifying - Enter pass phrase for private/cakey.pem:

# 用CA自签证书

openssl req -new -x509 -key private/cakey.pem -days 3650 -out cacert.pem

# 返回如下内容

# 执行后首先会要求输入CA私钥密码

Enter pass phrase for private/cakey.pem:

# 之后会要求填写一些信息，其中Common Name为必填项！$HOST是Docker服务器（运行docker守护进程的服务器）的IP

You are about to be asked to enter information that will be incorporated

into your certificate request.

What you are about to enter is what is called a Distinguished Name or a DN.

There are quite a few fields but you can leave some blank

For some fields there will be a default value,

If you enter '.', the field will be left blank.

-----

Country Name (2 letter code) [AU]:CN

State or Province Name (full name) [Some-State]:Beijing

Locality Name (eg, city) []:Beijing

Organization Name (eg, company) [Internet Widgits Pty Ltd]:BISTU

Organizational Unit Name (eg, section) []:PCIJLab

Common Name (e.g. server FQDN or YOUR name) []:$HOST

Email Address []:

4.3、颁发证书

# 生成要颁发证书的密钥文件
openssl genrsa -out private/docker.key 4096
# 返回如下内容
Generating RSA private key, 4096 bit long modulus
...................++
...................................................++
e is 65537 (0x10001)

# 生成证书请求
openssl req -new -key private/docker.key -days 3650 -out docker.csr
# 需要填写请求信息，其中Common Name为必填项！$HOST是Docker服务器（运行docker守护进程的服务器）的IP
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:CN
State or Province Name (full name) [Some-State]:Beijing
Locality Name (eg, city) []:Beijing
Organization Name (eg, company) [Internet Widgits Pty Ltd]:BISTU
Organizational Unit Name (eg, section) []:PCIJLab
Common Name (e.g. server FQDN or YOUR name) []:$HOST
Email Address []:
# 下面的密码和公司名都可以留空
Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

# 颁发证书
openssl ca -in docker.csr -out certs/docker.crt -days 3650
# 会要求输入CA私钥密码
Using configuration from /usr/lib/ssl/openssl.cnf
Enter pass phrase for /etc/openssl/private/cakey.pem:
# 之后会显示相关信息，并要求确认
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number: 0 (0x0)
        Validity
            Not Before: Jul  8 10:07:47 2020 GMT
            Not After : Jul  6 10:07:47 2030 GMT
        Subject:
            countryName               = CN
            stateOrProvinceName       = Beijing
            organizationName          = BISTU
            organizationalUnitName    = PCIJLab
            commonName                = $HOST
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                9A:21:68:DD:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF
            X509v3 Authority Key Identifier: 
                keyid:19:D5:EF:76:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF

Certificate is to be certified until Jul  6 10:07:47 2030 GMT (3650 days)
Sign the certificate? [y/n]:y


1 out of 1 certificate requests certified, commit? [y/n]y
Write out database with 1 new entries
Data Base Updated

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

# 生成要颁发证书的密钥文件

openssl genrsa -out private/docker.key 4096

# 返回如下内容

Generating RSA private key, 4096 bit long modulus

...................++

...................................................++

e is 65537 (0x10001)

# 生成证书请求

openssl req -new -key private/docker.key -days 3650 -out docker.csr

# 需要填写请求信息，其中Common Name为必填项！$HOST是Docker服务器（运行docker守护进程的服务器）的IP

You are about to be asked to enter information that will be incorporated

into your certificate request.

What you are about to enter is what is called a Distinguished Name or a DN.

There are quite a few fields but you can leave some blank

For some fields there will be a default value,

If you enter '.', the field will be left blank.

-----

Country Name (2 letter code) [AU]:CN

State or Province Name (full name) [Some-State]:Beijing

Locality Name (eg, city) []:Beijing

Organization Name (eg, company) [Internet Widgits Pty Ltd]:BISTU

Organizational Unit Name (eg, section) []:PCIJLab

Common Name (e.g. server FQDN or YOUR name) []:$HOST

Email Address []:

# 下面的密码和公司名都可以留空

Please enter the following 'extra' attributes

to be sent with your certificate request

A challenge password []:

An optional company name []:

# 颁发证书

openssl ca -in docker.csr -out certs/docker.crt -days 3650

# 会要求输入CA私钥密码

Using configuration from /usr/lib/ssl/openssl.cnf

Enter pass phrase for /etc/openssl/private/cakey.pem:

# 之后会显示相关信息，并要求确认

Check that the request matches the signature

Signature ok

Certificate Details:

Serial Number: 0 (0x0)

Validity

Not Before: Jul 8 10:07:47 2020 GMT

Not After : Jul 6 10:07:47 2030 GMT

Subject:

countryName = CN

stateOrProvinceName = Beijing

organizationName = BISTU

organizationalUnitName = PCIJLab

commonName = $HOST

X509v3 extensions:

X509v3 Basic Constraints:

CA:FALSE

Netscape Comment:

OpenSSL Generated Certificate

X509v3 Subject Key Identifier:

9A:21:68:DD:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF

X509v3 Authority Key Identifier:

keyid:19:D5:EF:76:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF:FF

Certificate is to be certified until Jul 6 10:07:47 2030 GMT (3650 days)

Sign the certificate? [y/n]:y

1 out of 1 certificate requests certified, commit? [y/n]y

Write out database with 1 new entries

Data Base Updated

4.4、配置Docker使用TLS认证

# 转存生成的秘钥和证书
cd /etc/docker/
mkdir ssl
cd /etc/docker/ssl
cp /etc/openssl/cacert.pem ./ca.pem
cp /etc/openssl/newcerts/00.pem ./cert.pem
cp /etc/openssl/private/docker.key ./key.pem

# 修改配置文件
nano /etc/docker/daemon.json
# 配置文件样例，$端口号是你设定的端口号
{
    "tlsverify": true,
    "tlscacert": "/etc/docker/ssl/ca.pem",
    "tlscert": "/etc/docker/ssl/cert.pem",
    "tlskey": "/etc/docker/ssl/key.pem",
    "hosts": ["unix:///var/run/docker.sock", "tcp://0.0.0.0:$端口号"],
    "registry-mirrors": ["https://******.mirror.aliyuncs.com"],
    "default-shm-size": "32G",
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
# 重启Docker
systemctl restart docker

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

# 转存生成的秘钥和证书

cd /etc/docker/

mkdir ssl

cd /etc/docker/ssl

cp /etc/openssl/cacert.pem ./ca.pem

cp /etc/openssl/newcerts/00.pem ./cert.pem

cp /etc/openssl/private/docker.key ./key.pem

# 修改配置文件

nano /etc/docker/daemon.json

# 配置文件样例，$端口号是你设定的端口号

{

"tlsverify": true,

"tlscacert": "/etc/docker/ssl/ca.pem",

"tlscert": "/etc/docker/ssl/cert.pem",

"tlskey": "/etc/docker/ssl/key.pem",

"hosts": ["unix:///var/run/docker.sock", "tcp://0.0.0.0:$端口号"],

"registry-mirrors": ["https://******.mirror.aliyuncs.com"],

"default-shm-size": "32G",

"default-runtime": "nvidia",

"runtimes": {

"nvidia": {

"path": "nvidia-container-runtime",

"runtimeArgs": []

}

# 重启Docker

systemctl restart docker

4.5、 Portainer接入

如果已经添加过服务器，只更新TLS认证配置，则只需要上传相应证书：

将/etc/docker/ssl/目录内的cert.pem和key.pem文件拷贝到本地，上传至Portainer。

如果是新服务器，按照下面步骤进行添加：

配置好TLS远程管理后建议对虚拟机生成快照！

参考资料

docker 配置 TLS 认证开启远程访问

Docker 守护进程+远程连接+安全访问+启动冲突解决办法 (完整收藏版)

「记录」解决VSCode编辑Python文件时自动给过长的行换行问题

薛定谔的nil2019年2月23日 0 Comments

在使用VSCode写Python的时候，总是莫名其妙的被换行，记得之前已经改过一次全局的行长度限制，但问题依旧，本来懒得管了，最近写数据处理经常要写很长的 columns数组，实在受不了，记录下解决过程。

通过逐一排查插件确定了是官方的“
ms-python.python”插件导致了这个问题，排查设置没找到相关项。通过搜索发现是因为该插件默认使用了格式化工具“autopep8”，这个工具有默认行长度限制。需要添加参数修改此限制：

"python.formatting.autopep8Args": [
    "--max-line-length=200"
]

1

2

3

"python.formatting.autopep8Args": [

"--max-line-length=200"

]

参考：visual studio code disable auto wrap long line

「记录」博客重生记——Ubuntu 18.04安装LNMP+phpmyadmin

薛定谔的nil2019年1月29日 0 Comments

　　因为各种客观+主观的原因（chrome恶心的安全措施、长期没有对服务器系统进行升级、脑子被门夹了非要上https、海森堡编辑器全是bug、研二全是事情等等），我做了各种令人窒息的操作，导致我的站点和博客彻底凉凉。为了完成曾老师的作业，也为了能好好做记录，我终于下定决心把整个站点重建一遍。

　　其实最早只是想着从ubuntu16迁移到18，结果玩脱了。不过既然都上18了，再退到16岂不是坑都白踩了，而且16也不一定能活多久，干脆一步到位。

　　这次记录除了包括在ubuntu18上部署lnmp、phpmyadmin以外，还会有https站点迁移的内容，读者请各取所需。

首先安装 lnmp

sudo apt-get update

# 安装nginx
sudo apt-get install nginx

# 为了避免安装apache，分别安装php组件
sudo apt-get install php7.2-cli php7.2-cgi php7.2-fpm php7.2-mbstring php7.2-mysql curl php7.2-curl

# 安装mysql
# 要注意的一点是在ubuntu18安装mysql5.7的时候不会提示设置root密码，而是直接静默安装，这是正常的，安装完成后root账户没有密码，但只有ubuntu的root用户才可以用root登陆mysql，此外还有有一个debian系系统特有的账户，密码随机的写在一个配置文件里
sudo apt-get install mysql-server

# 配置nginx
# 直接移动文件夹或者删掉重建都行，不过移动的话记得给里面的示例文件改名
sudo mv /var/www /var/nginx
sudo mv /var/nginx/html /var/nginx/www
# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户
sudo chown -R ubuntu:ubuntu /var/nginx
sudo ln -s /var/nginx /nginx
sudo ln -s /var/nginx ~/nginx
sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup
sudo nano /etc/nginx/sites-available/default

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

sudo apt-get update

# 安装nginx

sudo apt-get install nginx

# 为了避免安装apache，分别安装php组件

sudo apt-get install php7.2-cli php7.2-cgi php7.2-fpm php7.2-mbstring php7.2-mysql curl php7.2-curl

# 安装mysql

# 要注意的一点是在ubuntu18安装mysql5.7的时候不会提示设置root密码，而是直接静默安装，这是正常的，安装完成后root账户没有密码，但只有ubuntu的root用户才可以用root登陆mysql，此外还有有一个debian系系统特有的账户，密码随机的写在一个配置文件里

sudo apt-get install mysql-server

# 配置nginx

# 直接移动文件夹或者删掉重建都行，不过移动的话记得给里面的示例文件改名

sudo mv /var/www /var/nginx

sudo mv /var/nginx/html /var/nginx/www

# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户

sudo chown -R ubuntu:ubuntu /var/nginx

sudo ln -s /var/nginx /nginx

sudo ln -s /var/nginx ~/nginx

sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup

sudo nano /etc/nginx/sites-available/default

下面给一个配置文件样本，是一个很早的原始版本，仅供测试参考

# Default server configuration
#
server {
	listen 80 default_server;
	listen [::]:80 default_server;
    
	root /var/nginx/www;
    
	# Add index.php to the list if you are using PHP
	index index.php index.html index.htm;
    
	server_name www.test.com test.com *.test.com;
    
	location / {
		# First attempt to serve request as file, then
		# as directory, then fall back to displaying a 404.
		try_files $uri $uri/ =404;
	}
    
	# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
	#
	location ~ \.php$ {
		include snippets/fastcgi-php.conf;
        
	#	# With php7.2-cgi alone:
	#	fastcgi_pass 127.0.0.1:9000;
	#	With php7.2-fpm:
		fastcgi_pass unix:/run/php/php7.2-fpm.sock;
	}
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

# Default server configuration

#

server {

listen 80 default_server;

listen [::]:80 default_server;

root /var/nginx/www;

# Add index.php to the list if you are using PHP

index index.php index.html index.htm;

server_name www.test.com test.com *.test.com;

location / {

# First attempt to serve request as file, then

# as directory, then fall back to displaying a 404.

try_files $uri $uri/ =404;

}

# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

#

location ~ \.php$ {

include snippets/fastcgi-php.conf;

# # With php7.2-cgi alone:

# fastcgi_pass 127.0.0.1:9000;

# With php7.2-fpm:

fastcgi_pass unix:/run/php/php7.2-fpm.sock;

}

有了简单配置之后可以测试下nginx和php了，一定先测试后迁移，因为在迁移过程中涉及的步骤和环节很多，而且中间几乎无法测试，一旦前期有问题最后都没法定位错误！

使用php探针测试会发现页面显示白页，nginx日志无问题，这是一个bug，解决方法如下

sudo nano /etc/nginx/fastcgi_params
# 文件末尾增加
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  PATH_INFO          $fastcgi_script_name;
# 重启服务
sudo service php7.2-fpm restart
sudo service nginx restart

1

2

3

4

5

6

7

sudo nano /etc/nginx/fastcgi_params

# 文件末尾增加

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

fastcgi_param PATH_INFO $fastcgi_script_name;

# 重启服务

sudo service php7.2-fpm restart

sudo service nginx restart

测试通过之后就可以开始迁移了，但是建议先把phpmyadmin装了，这样可以先配置数据库

cd /var/nginx/www/

# 下载地址去官方找最新的
wget https://files.phpmyadmin.net/phpMyAdmin/4.8.5/phpMyAdmin-4.8.5-all-languages.zip
unzip phpMyAdmin-4.8.5-all-languages.zip
mv ./phpMyAdmin-4.8.5-all-languages ./pma
# 这一步不是必须的
sudo chown www-data:www-data -R ./pma

# 因为mysql的新安全措施，phpmyadmin无法用root登陆，必须新建一个账户
# root没有密码，但必须sudo或以root身份登陆ubuntu
sudo mysql --user=root mysql
# 'phpmyadmin'@'localhost'是限定本地域登陆的'phpmyadmin'用户，@'localhost'可以不加，如果想换其他用户名只需要替换phpmyadmin
# your_pass替换成你要设定的密码
CREATE USER 'phpmyadmin'@'localhost' IDENTIFIED BY 'your_pass';
GRANT ALL PRIVILEGES ON *.* TO 'phpmyadmin'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

# 登陆phpmyadmin，如果提示“配置文件现在需要一个短语密码。”
cd /var/nginx/www/pma
sudo nano ./libraries/config.default.php
# 找到以下行，并修改: $cfg['blowfish_secret'] = 'your-url.com';
cp config.sample.inc.php config.inc.php
sudo nano ./config.inc.php
# 找到以下行，并修改: $cfg['blowfish_secret'] = '6OppxJrNhNcv2lEUTzRKavXIN6DcjJ1Y';
# 注意config.inc.php文件中的字符串必须是32位字符！

# 如果没有把phpmyadmin目录属主转移给www-data，还需要手动创建一个临时目录
mkdir ./tmp
sudo chown www-data:www-data -R ./tmp

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

cd /var/nginx/www/

# 下载地址去官方找最新的

wget https://files.phpmyadmin.net/phpMyAdmin/4.8.5/phpMyAdmin-4.8.5-all-languages.zip

unzip phpMyAdmin-4.8.5-all-languages.zip

mv ./phpMyAdmin-4.8.5-all-languages ./pma

# 这一步不是必须的

sudo chown www-data:www-data -R ./pma

# 因为mysql的新安全措施，phpmyadmin无法用root登陆，必须新建一个账户

# root没有密码，但必须sudo或以root身份登陆ubuntu

sudo mysql --user=root mysql

# 'phpmyadmin'@'localhost'是限定本地域登陆的'phpmyadmin'用户，@'localhost'可以不加，如果想换其他用户名只需要替换phpmyadmin

# your_pass替换成你要设定的密码

CREATE USER 'phpmyadmin'@'localhost' IDENTIFIED BY 'your_pass';

GRANT ALL PRIVILEGES ON *.* TO 'phpmyadmin'@'localhost' WITH GRANT OPTION;

FLUSH PRIVILEGES;

# 登陆phpmyadmin，如果提示“配置文件现在需要一个短语密码。”

cd /var/nginx/www/pma

sudo nano ./libraries/config.default.php

# 找到以下行，并修改: $cfg['blowfish_secret'] = 'your-url.com';

cp config.sample.inc.php config.inc.php

sudo nano ./config.inc.php

# 找到以下行，并修改: $cfg['blowfish_secret'] = '6OppxJrNhNcv2lEUTzRKavXIN6DcjJ1Y';

# 注意config.inc.php文件中的字符串必须是32位字符！

# 如果没有把phpmyadmin目录属主转移给www-data，还需要手动创建一个临时目录

mkdir ./tmp

sudo chown www-data:www-data -R ./tmp

终于可以开始迁移服务器了

# 迁移数据库
# 用phpmyadmin导入旧的数据库要保证php上传文件大小的限制已经被完全解除
sudo nano /etc/php/7.2/fpm/php.ini
# 修改以下行：
upload_max_filesize = 500m;
post_max_size = 500m;
max_execution_time = 600;
max_input_time = 600;
memory_limit = 512m;

1

2

3

4

5

6

7

8

9

# 迁移数据库

# 用phpmyadmin导入旧的数据库要保证php上传文件大小的限制已经被完全解除

sudo nano /etc/php/7.2/fpm/php.ini

# 修改以下行：

upload_max_filesize = 500m;

post_max_size = 500m;

max_execution_time = 600;

max_input_time = 600;

memory_limit = 512m;

完成数据库迁移之后，就是最关键的部分了，之后的步骤中间几乎完全不能调试

将整站数据上传至相应的服务器目录
修改目录属主和权限
将原服务器的nginx配置文件替换掉新服务器nginx的配置文件
修改新服务器nginx服务器文件，使得其中一些小条目符合新服务器配置
将ssl证书配置到相应目录
重启nginx
进入wordpress目录修改wp-config.php中的数据库连接信息
修改dns解析地址到新服务器
通过url访问页面测试

如果一切正常，恭喜你完成了全部步骤！

「记录」制作macOS High Sierra 10.13.6的ISO安装镜像

薛定谔的nil2018年10月3日 0 Comments

　　最近掏了一个dell 9020sff，心血来潮想要装mac虚拟机，但是折腾了好久总是出各种奇怪的问题，后来还是在一个台湾的博客里找到解决方法，在这记录一下。废话不多说，先上干货。

制作macOS High Sierra 10.13.6的ISO安装镜像

　　首先准备好一个mac系统，不管是实体mac还是mac虚拟机都行，甚至比较老的OS X也行（我用的10.8，虽然官方说这个版本支持升级到10.13，但从store下载的原版app在10.8里提示已损坏无法打开，但这并不影响iso的制作）。然后需要下载好10.13的安装应用，建议从mac app store下载，把app放在应用程序目录。

注意：下面的代码中默认的10.13安装app路径是：”/Applications/Install\ macOS\ High\ Sierra.app”，如果你的安装app不在默认位置，请自行替换路径。

hdiutil attach /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/InstallESD.dmg -noverify -mountpoint /Volumes/highsierra
hdiutil create -o /tmp/HighSierraBase.cdr -size 7316m -layout SPUD -fs HFS+J
hdiutil attach /tmp/HighSierraBase.cdr.dmg -noverify -mountpoint /Volumes/install_build
asr restore -source /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/BaseSystem.dmg -target /Volumes/install_build -noprompt -noverify -erase
# 注意，下面这一条命令会报一些文件或目录不存在的警告，但这是正常的
cp -R /Volumes/highsierra/Packages /Volumes/OS\ X\ Base\ System/System/Installation
hdiutil detach /Volumes/OS\ X\ Base\ System/
hdiutil detach /Volumes/highsierra/
mv /tmp/HighSierraBase.cdr.dmg /tmp/BaseSystem.dmg
hdiutil create -o /tmp/HighSierra.cdr -size 8965m -layout SPUD -fs HFS+J
hdiutil attach /tmp/HighSierra.cdr.dmg -noverify -mountpoint /Volumes/install_build
asr restore -source /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/BaseSystem.dmg -target /Volumes/install_build -noprompt -noverify -erase
cp /tmp/BaseSystem.dmg /Volumes/OS\ X\ Base\ System
hdiutil detach /Volumes/OS\ X\ Base\ System/
hdiutil convert /tmp/HighSierra.cdr.dmg -format UDTO -o /tmp/HighSierra.iso
mv /tmp/HighSierra.iso.cdr ~/Desktop/Install\ macOS\ High\ Sierra.iso
rm /tmp/HighSierra.cdr.dmg

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

hdiutil attach /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/InstallESD.dmg -noverify -mountpoint /Volumes/highsierra

hdiutil create -o /tmp/HighSierraBase.cdr -size 7316m -layout SPUD -fs HFS+J

hdiutil attach /tmp/HighSierraBase.cdr.dmg -noverify -mountpoint /Volumes/install_build

asr restore -source /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/BaseSystem.dmg -target /Volumes/install_build -noprompt -noverify -erase

# 注意，下面这一条命令会报一些文件或目录不存在的警告，但这是正常的

cp -R /Volumes/highsierra/Packages /Volumes/OS\ X\ Base\ System/System/Installation

hdiutil detach /Volumes/OS\ X\ Base\ System/

hdiutil detach /Volumes/highsierra/

mv /tmp/HighSierraBase.cdr.dmg /tmp/BaseSystem.dmg

hdiutil create -o /tmp/HighSierra.cdr -size 8965m -layout SPUD -fs HFS+J

hdiutil attach /tmp/HighSierra.cdr.dmg -noverify -mountpoint /Volumes/install_build

asr restore -source /Applications/Install\ macOS\ High\ Sierra.app/Contents/SharedSupport/BaseSystem.dmg -target /Volumes/install_build -noprompt -noverify -erase

cp /tmp/BaseSystem.dmg /Volumes/OS\ X\ Base\ System

hdiutil detach /Volumes/OS\ X\ Base\ System/

hdiutil convert /tmp/HighSierra.cdr.dmg -format UDTO -o /tmp/HighSierra.iso

mv /tmp/HighSierra.iso.cdr ~/Desktop/Install\ macOS\ High\ Sierra.iso

rm /tmp/HighSierra.cdr.dmg

　　如果没有意外，你就可以在桌面找到iso安装镜像了。

参考资料：製作 macOS High Sierra 10.13 的可開機安裝隨身碟及 ISO 映像檔

神奇的坑

　　在找到正确的解决方法之前，我当然也踩了不少坑，一度甚至想放弃，但「缘，妙不可言！」，所以在这记录一些比较神奇的坑。

1、用官方推荐的createinstallmedia创建的dmg，用磁盘工具另存为“DVD/CD 主映像”，会储存为.cdr文件，但这个文件不能直接改后缀成.iso！

　　直接改后缀看似没有什么问题，在win里也能打开，也可以在esxi里挂载，但是在安装中要么无法引导，要么在引导的最后阶段出现禁止符号！！！没错，就是这个符号🚫。黑色的背景，白色的禁止符，我一直以为是我虚拟机的问题，废了好大劲才晓得是镜像问题。

2、不可以在mac以外的系统里将dmg或cdr转为iso，不管用什么工具都不行，必须用mac！

　　我试过百度上几乎所有的转换方案，包括软碟通啊，或是什么其他的软件，最后事实证明，都TMD在骗人，浪费我的时间和精力！SB百度！

3、VMware虚拟macOS需要加两个高级参数

有两个修改方法。第一个是直接改vmx文件，另一个是在vsphere client里“编辑虚拟机设置”，“虚拟机选项”选项卡，展开“高级”，点“编辑配置”。确保下面两个参数正确，否则无法打开虚拟机，或运行出现奇怪的错误。

smc.present = “TRUE”
smc.version = 0

「记录」在Ubuntu Server 1604上部署SOCKS5服务器dante-server

薛定谔的nil2018年4月6日 0 Comments

因为某些原因，我需要部署一台代理服务器，之前配置了http缓存代理，但是有些网站访问异常，而且有些软件不支持http代理，所以萌生了部署SOCKS5服务。

1、安装 dante-server

sudo apt install dante-server

1	sudo apt install dante-server

2、配置
备份配置文件

sudo cp /etc/danted.conf /etc/danted.conf.backup
sudo nano /etc/danted.conf

1 2	sudo cp /etc/danted.conf /etc/danted.conf.backup sudo nano /etc/danted.conf

查找以下关键行进行修改

# 设置日志文件位置
# the server will log both via syslog, to stdout and to /var/log/lotsoflogs
logoutput: /var/log/danted/output.log

# 设置网卡和端口
# Alternatively, the interface name can be used instead of the address.
internal: ens33 port = 1080

# 设置出口
# all outgoing connections from the server will use the IP address
external: ens33

# 设置模式为无验证
# methods for socks-rules.
method: username none #rfc931

# 设置客户端可以通过任何ip访问任何ip
# This is identical to above, but allows clients without a rfc931 (ident)
# too. In practise this means the socksserver will try to get a rfc931
# reply first (the above rule), if that fails, it tries this rule.
client pass {
	from: 0.0.0.0/0 port 1-65535 to: 0.0.0.0/0
	log: connect disconnect
}

# 设置协议支持tcp和udp
# everyone from our internal network, 10.0.0.0/8 is allowed to use
# tcp and udp for everything else.
pass {
	from: 0.0.0.0/0 to: 0.0.0.0/0
	protocol: tcp udp
	log: connect disconnect
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

# 设置日志文件位置

# the server will log both via syslog, to stdout and to /var/log/lotsoflogs

logoutput: /var/log/danted/output.log

# 设置网卡和端口

# Alternatively, the interface name can be used instead of the address.

internal: ens33 port = 1080

# 设置出口

# all outgoing connections from the server will use the IP address

external: ens33

# 设置模式为无验证

# methods for socks-rules.

method: username none #rfc931

# 设置客户端可以通过任何ip访问任何ip

# This is identical to above, but allows clients without a rfc931 (ident)

# too. In practise this means the socksserver will try to get a rfc931

# reply first (the above rule), if that fails, it tries this rule.

client pass {

from: 0.0.0.0/0 port 1-65535 to: 0.0.0.0/0

log: connect disconnect

}

# 设置协议支持tcp和udp

# everyone from our internal network, 10.0.0.0/8 is allowed to use

# tcp and udp for everything else.

pass {

from: 0.0.0.0/0 to: 0.0.0.0/0

protocol: tcp udp

log: connect disconnect

}

创建日志文件夹，并重启服务

sudo mkdir /var/log/danted/
sudo service danted restart

1 2	sudo mkdir /var/log/danted/ sudo service danted restart

「记录」Windows下更换pip源为清华源

薛定谔的nil2018年4月5日 0 Comments

在资源管理器中访问路径：%appdata%

新建pip文件夹，在pip文件夹内新建文件：pip.ini

文件内容：

[global]
timeout = 600
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn

1

2

3

4

[global]

timeout = 600

index-url = https://pypi.tuna.tsinghua.edu.cn/simple

trusted-host = pypi.tuna.tsinghua.edu.cn

使用Virtualenv创建独立Python开发环境

薛定谔的nil2018年3月20日 0 Comments

在使用Python进行开发时，经常需要安装各种包，如果同时开发多个项目，就有可能出现开发环境冲突的问题。通过使用Virtualenv来创建多个独立的Python开发环境，可以很好的解决环境冲突问题，也可以避免主系统环境被污染的问题。

安装

pip install virtualenv

1	pip install virtualenv

创建虚拟环境

cd project-dir
virtualenv --no-site-packages venv

1 2	cd project-dir virtualenv --no-site-packages venv

Windows 激活虚拟环境

cd venv\Scripts\
# 激活
activate
# 退出
deactivate

1

2

3

4

5

cd venv\Scripts\

# 激活

activate

# 退出

deactivate

Linux 激活虚拟环境

# 激活
source venv/bin/activate
# 退出
deactivate

1

2

3

4

# 激活

source venv/bin/activate

# 退出

deactivate

Ubuntu 1604 安装nginx+php7+mysql+phpmyadmin环境

薛定谔的nil2017年12月9日 2 Comments

1. 安装 nginx 最新版本，使用以下命令：

sudo apt-get update
sudo apt-get install nginx

1 2	sudo apt-get update sudo apt-get install nginx

2. 安装 php7 ：(不要尝试直接apt-get install php7，这样会默认安装apache，ubuntu 16默认不能安装php5)

sudo apt-get install php7.0-cli php7.0-cgi php7.0-fpm php7.0-mcrypt php7.0-mysql curl libcurl3 libcurl3-dev php7.0-curl

1	sudo apt-get install php7.0-cli php7.0-cgi php7.0-fpm php7.0-mcrypt php7.0-mysql curl libcurl3 libcurl3-dev php7.0-curl

3. 安装 MySQL 数据库：

sudo apt-get install mysql-server

1	sudo apt-get install mysql-server

4. nginx管理操作

大括弧里是可选的操作，选一个，外面不需要加大括弧

sudo service nginx {start|stop|restart|reload|force-reload|status|configtest}

1	sudo service nginx {start\|stop\|restart\|reload\|force-reload\|status\|configtest}

5. 配置nginx

sudo mv /var/www /var/nginx
sudo mv /var/nginx/html /var/nginx/www
# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户
sudo chown -R ubuntu:ubuntu /var/nginx
sudo ln -s /var/nginx /nginx
sudo ln -s /var/nginx ~/nginx
sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup
sudo nano /etc/nginx/sites-available/default

1

2

3

4

5

6

7

8

sudo mv /var/www /var/nginx

sudo mv /var/nginx/html /var/nginx/www

# 为了方便远程编辑站点目录下的文件，我喜欢将站点根目录属主改为自己的用户

sudo chown -R ubuntu:ubuntu /var/nginx

sudo ln -s /var/nginx /nginx

sudo ln -s /var/nginx ~/nginx

sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.backup

sudo nano /etc/nginx/sites-available/default

配置文件样本：

# Default server configuration
#
	server {
	listen 80 default_server;
	listen [::]:80 default_server;
	
	root /var/nginx/www;
	
	# Add index.php to the list if you are using PHP
	index index.php index.html index.htm;
	
	server_name www.test.com test.com *.test.com;
	
	location / {
		# First attempt to serve request as file, then
		# as directory, then fall back to displaying a 404.
		try_files $uri $uri/ =404;
	}
	
	# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
	#
	location ~ \.php$ {
		include snippets/fastcgi-php.conf;
		
	#	# With php7.0-cgi alone:
	#	fastcgi_pass 127.0.0.1:9000;
	#	With php7.0-fpm:
		fastcgi_pass unix:/run/php/php7.0-fpm.sock;
	}
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

# Default server configuration

#

server {

listen 80 default_server;

listen [::]:80 default_server;

root /var/nginx/www;

# Add index.php to the list if you are using PHP

index index.php index.html index.htm;

server_name www.test.com test.com *.test.com;

location / {

# First attempt to serve request as file, then

# as directory, then fall back to displaying a 404.

try_files $uri $uri/ =404;

}

# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

#

location ~ \.php$ {

include snippets/fastcgi-php.conf;

# # With php7.0-cgi alone:

# fastcgi_pass 127.0.0.1:9000;

# With php7.0-fpm:

fastcgi_pass unix:/run/php/php7.0-fpm.sock;

}

重启nginx：

sudo service nginx restart

1	sudo service nginx restart

6. 安装phpMyAdmin

cd ~/nginx/www
wget https://files.phpmyadmin.net/phpMyAdmin/4.7.6/phpMyAdmin-4.7.6-all-languages.zip
unzip ./phpMyAdmin-4.7.6-all-languages.zip
rm phpMyAdmin-4.7.6-all-languages.zip
mv ./phpMyAdmin-4.7.6-all-languages ./pma

1

2

3

4

5

cd ~/nginx/www

wget https://files.phpmyadmin.net/phpMyAdmin/4.7.6/phpMyAdmin-4.7.6-all-languages.zip

unzip ./phpMyAdmin-4.7.6-all-languages.zip

rm phpMyAdmin-4.7.6-all-languages.zip

mv ./phpMyAdmin-4.7.6-all-languages ./pma

HP Microserver Gen8 微型服务器折腾记

薛定谔的nil2017年11月27日 0 Comments

得知研一的奖学金是每人平均分后兴奋地买了种草已久的HP Microserver Gen8。在经历漫长的德国直邮和配置升级之后，终于在上周末开始准备上电装系统。现在已经基本完成了计划，在此记录一下。

这台微型服务器首先是要取代我旧的下载机，其次还要为以后用作数据、媒体中心准备，因此我决定直接安装虚拟化环境。虚拟化环境最出名的就是VMware的vSphere产品了，我要使用的是其中的ESXi。

首先下载HP定制版ESXi6.5系统镜像：

HP定制镜像下载页：https://www.hpe.com/us/en/servers/hpe-esxi.html

HPE Custom Image for ESXi 6.5U1 Install CD：https://my.vmware.com/cn/group/vmware/details?downloadGroup=OEM-ESXI65U1-HPE&productId=614

文件为：VMware-ESXi-6.5.0-Update1-6765664-HPE-650.U1.10.1.5.26-Oct2017.iso ，SHA1：58685a1d662f9fb798d2ccb28376811f1b78090a

直接使用iLO远程挂载镜像，注意必须在win7中用ie打开远程控制台，win10有安全限制，chrome会识别为文件下载！

安装前尽量把非目标硬盘都断开连接，只接目标硬盘，我选择安装在主板上的U盘里。安装过程中按照提示选择即可。安装完成后，注意进BIOS改硬盘模式。默认是使用RAID模式，ESXi里只能看到U盘和RAID卡，除非配置好RAID卡上的硬盘组，否则不会显示硬盘。手动切换到AHCI模式后，就可以在ESXi里直接管理硬盘了。

在安装好用来取代之前下载机的虚拟机后，要配置硬盘直通，把旧下载机的硬盘直通给新下载机。ESXi不能简单的直通硬盘，因为硬盘不是设备，只能直通硬盘控制器，但是这样的话所有的硬盘都只能给一个机器用，显然是不合理的。也不能使用扩展卡，因为这样会占用显卡安装位。因此要用RDM技术来间接实现硬盘直通，这种技术是创建一个的特殊 .vmdk 文件（一个文本文件）映射到一块物理磁盘，当虚拟机向这块 VMDK 写入时，实际写入的是后面的物理磁盘。

1、在ESXi 中打开 SSH 访问，并远程登录。

2、寻找需要直连的磁盘路径，一般在/vmfs/devices/disks/目录下

3、创建RDM映射

vmkfstools -z /vmfs/devices/disks/<物理硬盘路径> /vmfs/volumes/RDM/<目的硬盘名>.vmdk

1	vmkfstools -z /vmfs/devices/disks/<物理硬盘路径> /vmfs/volumes/RDM/<目的硬盘名>.vmdk

可选参数-z或-r
-r 参数创建的是 Virtual Compabilitiy Mode RDM，即 ESXi 会截获除 READ / WRITE 之外所有 SATA 指令。
-z 参数则是创建 Physical Compability Mode RDM，即 ESXi 除了 LUN REPORT 指令，其他全部原样传递给物理磁盘。

4、分配.vmdk硬盘给目标虚拟机

「记录」重新安装Adobe Ps & Lr CC 2015，并激活

薛定谔的nil2017年10月26日 0 Comments

因为给电脑换了CPU所以导致之前用的好好的Ps和Lr需要重新激活，因为某些未知的原因激活不了，我只好清理后重装，折腾了很久，这次记下来免得以后忘了。

1、首先要彻底清理旧的软件，可以先用官方卸载器卸载，然后再用清理工具清理，也可以不卸载直接清理。
运行“AdobeCreativeCloudCleanerTool.exe”，选择语言，确认，然后选择要清理的软件：

选择“1、All”，工具会自动扫描并列出所有电脑中的adobe软件：

选择“Clean All”，确认，等待清理完毕。

2、清理旧的授权文件，清空以下目录内的全部文件。

C:\Program Files (x86)\Common Files\Adobe\SLCache
C:\ProgramData\Adobe\SLStore

3、清理host文件中全部关于adobe的记录！

4、重启并断网，断网、断网！

5、运行Ps安装程序

选择“忽略”，

选择“安装”，

选择右下角的“登陆”，然后选择“稍后连接”，接受许可协议，进入序列号输入界面，
打开序列号生成工具，先选择产品，确认选择正确后点击左边按钮，生成序列号，不要关闭生成工具，或把序列号存在一个文件里，
$C]A0Q9JT1PEP{]I9MSVZ}_P$

输入序列号后点“下一步”，点“稍后连接”，选择安装目录，并安装，安装完成后点“立即启动”，

启动Ps后关闭，并关闭要求登陆的窗口，重新打开Ps，在登录窗口选择“连接Internet时是否出现问题？”，

选“脱机激活”，并“生成请求代码”，

生成请求代码后，检查序列号生成工具中的产品选项，并保证序列号是刚才输入的序列号，
将请求代码粘贴到序列号下面的文本框，点击左侧按钮生成响应代码，粘入激活窗口，

Ps安装激活完成。

6、运行Lr安装程序

忽略重启检测，选择“安装”，

选择右下角的“登陆”，然后选择“稍后连接”，接受许可协议，进入序列号输入界面，
打开序列号生成工具，先选择产品，确认选择正确后点击左边按钮，生成序列号，不要关闭生成工具，或把序列号存在一个文件里，

输入序列号后点“下一步”，点“稍后连接”，选择安装目录，并安装，安装完成后点“立即启动”，
启动Lr后关闭，并关闭要求登陆的窗口，重新打开Lr，在登录窗口选择“连接Internet时是否出现问题？”，
选“脱机激活”，并“生成请求代码”，生成请求代码后，检查序列号生成工具中的产品选项，并保证序列号是刚才输入的序列号，
将请求代码粘贴到序列号下面的文本框，点击左侧按钮生成响应代码，粘入激活窗口，

Lr安装激活完成。

7、在host中加入以下记录

# Adobe
127.0.0.1 lmlicenses.wip4.adobe.com
127.0.0.1 lm.licenses.adobe.com
127.0.0.1 na1r.services.adobe.com
127.0.0.1 hlrcv.stage.adobe.com
127.0.0.1 practivate.adobe.com
127.0.0.1 activate.adobe.com
127.0.0.1 ereg.adobe.com
127.0.0.1 activate.wip3.adobe.com
127.0.0.1 wip3.adobe.com
127.0.0.1 3dns-3.adobe.com
127.0.0.1 3dns-2.adobe.com
127.0.0.1 adobe-dns.adobe.com
127.0.0.1 adobe-dns-2.adobe.com
127.0.0.1 adobe-dns-3.adobe.com
127.0.0.1 ereg.wip3.adobe.com
127.0.0.1 activate-sea.adobe.com
127.0.0.1 wwis-dubc1-vip60.adobe.com
127.0.0.1 activate-sjc0.adobe.com

8、联网重启

在Win中通过cmd命令查看文件的MD5/SHA1/SHA256

薛定谔的nil2017年10月25日 0 Comments

certutil -hashfile <你文件的路径> MD5
certutil -hashfile <你文件的路径> SHA1
certutil -hashfile <你文件的路径> SHA256

1

2

3

certutil -hashfile <你文件的路径> MD5

certutil -hashfile <你文件的路径> SHA1

certutil -hashfile <你文件的路径> SHA256

例如：

「记录」树莓派raspbian-stretch系统安装LNMP环境 & 解决无法安装php5-mysql的问题

薛定谔的nil2017年9月28日 0 Comments

为了能让实验室的路由器一直保持登陆状态，但又不想使用非官方固件，因为非官方固件都不够稳定，所以买了一个树莓派 zero-w。
本着新硬件就要用新系统的想法，刷了官方才出了不到一个月的系统：2017-09-07-raspbian-stretch，然后在安装LNMP环境的过程中遇到很多奇怪的问题，在这里记录一下。

先插一个zero-w的网络配置过程，虽然不是什么大问题，但是着实坑了我很久。
正常刷好系统后，用电脑在/boot分区的根目录创建名为“wpa_supplicant.conf”的文本文件，内容为：

country=CN
ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1

network={
ssid="Port-2.4G"
psk="port65536"
}

1

2

3

4

5

6

7

8

country=CN

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev

update_config=1

network={

ssid="Port-2.4G"

psk="port65536"

}

注意：WiFi名称不能包含“_”，就是下划线，因为有些情况下下划线和空格会混淆。WiFi加密模式只能为“WPA-PSK [TKIP]”，因为wpa不支持AES加密。
然后在/boot分区的根目录创建名为“ssh”的空目录，这样就会自动打开ssh服务。

配置好网络后，开始换源。

阿里云
Raspbian http://mirrors.aliyun.com/raspbian/raspbian/

清华大学
Raspbian http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/

sudo mv /etc/apt/sources.list /etc/apt/sources.list.buckup
sudo nano /etc/apt/sources.list

1 2	sudo mv /etc/apt/sources.list /etc/apt/sources.list.buckup sudo nano /etc/apt/sources.list

文件内容如下：

deb http://mirrors.aliyun.com/raspbian/raspbian/ stretch main contrib non-free
deb-src http://mirrors.aliyun.com/raspbian/raspbian/ stretch main contrib non-free

1 2	deb http://mirrors.aliyun.com/raspbian/raspbian/ stretch main contrib non-free deb-src http://mirrors.aliyun.com/raspbian/raspbian/ stretch main contrib non-free

保存

sudo apt-get update

1	sudo apt-get update

配置LNMP环境

先上干货：

# 建议分条执行，避免一次安装太多出错了都不知道是哪里的原因
sudo apt-get install nginx
sudo apt-get install curl libcurl3 libcurl3-dev
sudo apt-get install php5-cli php5-cgi php5-fpm
sudo apt-get install php5-curl php5-mcrypt php5-gd

# 务必使用archive.raspbian.org官方的安装包，我多次尝试使用packages.debian.org的包，每次都会出现安装完php5-mysql后php5-fpm无法启动的错误，原因未知
cd ~/Downloads/
wget http://archive.raspbian.org/raspbian/pool/main/m/mysql-5.5/libmysqlclient18_5.5.57-0%2bdeb8u1_armhf.deb
# 要先安装libmysqlclient18的依赖包mysql-common，或者直接先安装mysql-server
sudo apt-get install mysql-server
sudo apt-get install mysql-common
sudo dpkg --install ./libmysqlclient18_5.5.57-0+deb8u1_armhf.deb
sudo apt-get install php5-mysql

# 正常配置nginx和其它环境，bala~bala~

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# 建议分条执行，避免一次安装太多出错了都不知道是哪里的原因

sudo apt-get install nginx

sudo apt-get install curl libcurl3 libcurl3-dev

sudo apt-get install php5-cli php5-cgi php5-fpm

sudo apt-get install php5-curl php5-mcrypt php5-gd

# 务必使用archive.raspbian.org官方的安装包，我多次尝试使用packages.debian.org的包，每次都会出现安装完php5-mysql后php5-fpm无法启动的错误，原因未知

cd ~/Downloads/

wget http://archive.raspbian.org/raspbian/pool/main/m/mysql-5.5/libmysqlclient18_5.5.57-0%2bdeb8u1_armhf.deb

# 要先安装libmysqlclient18的依赖包mysql-common，或者直接先安装mysql-server

sudo apt-get install mysql-server

sudo apt-get install mysql-common

sudo dpkg --install ./libmysqlclient18_5.5.57-0+deb8u1_armhf.deb

sudo apt-get install php5-mysql

# 正常配置nginx和其它环境，bala~bala~

如果直接按照通常步骤直接安装php5-mysql，会提示如下错误：

pi@pi-zero-w:~ $ sudo apt-get install php5-mysql
正在读取软件包列表... 完成
正在分析软件包的依赖关系树
正在读取状态信息... 完成
有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是
因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件
包尚未被创建或是它们已被从新到(Incoming)目录移出。
下列信息可能会对解决问题有所帮助：

下列软件包有未满足的依赖关系：
php5-mysql : 依赖: libmysqlclient18 但无法安装它
E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

1

2

3

4

5

6

7

8

9

10

11

12

pi@pi-zero-w:~ $ sudo apt-get install php5-mysql

正在读取软件包列表... 完成

正在分析软件包的依赖关系树

正在读取状态信息... 完成

有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是

因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件

包尚未被创建或是它们已被从新到(Incoming)目录移出。

下列信息可能会对解决问题有所帮助：

下列软件包有未满足的依赖关系：

php5-mysql : 依赖: libmysqlclient18 但无法安装它

E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

为了解决这个问题，我参考了「libmysqlclient18 has no installation candidate」。
尝试手动下载并安装packages.debian.org提供的libmysqlclient18包，libmysqlclient18_5.5.57-0+deb8u1_armhf.deb，文件sha1：16237a52a6c3b945c30a8fdf401816277d7f2436。
手动安装libmysqlclient18后，可以成功安装php5-mysql。但是apt-get在安装完，重启php5-fpm的时候会出现以下错误：

pi@pi-zero-w:~ $ sudo apt-get install php5-mysql
正在读取软件包列表... 完成
正在分析软件包的依赖关系树
正在读取状态信息... 完成
下列【新】软件包将被安装：
php5-mysql
升级了 0 个软件包，新安装了 1 个软件包，要卸载 0 个软件包，有 1 个软件包未被升级。
需要下载 0 B/51.6 kB 的归档。
解压缩后会消耗 212 kB 的额外空间。
正在选中未选择的软件包 php5-mysql。
(正在读取数据库 ... 系统当前共安装有 124140 个文件和目录。)
正准备解包 .../php5-mysql_5.6.22+dfsg-2+b3_armhf.deb ...
正在解包 php5-mysql (5.6.22+dfsg-2+b3) ...
正在处理用于 php5-fpm (5.6.22+dfsg-2+b3) 的触发器 ...
正在设置 php5-mysql (5.6.22+dfsg-2+b3) ...

Creating config file /etc/php5/mods-available/mysql.ini with new version
php5_invoke: Enable module mysql for fpm SAPI
php5_invoke: Enable module mysql for cli SAPI
php5_invoke: Enable module mysql for cgi SAPI

Creating config file /etc/php5/mods-available/mysqli.ini with new version
php5_invoke: Enable module mysqli for fpm SAPI
php5_invoke: Enable module mysqli for cli SAPI
php5_invoke: Enable module mysqli for cgi SAPI

Creating config file /etc/php5/mods-available/pdo_mysql.ini with new version
php5_invoke: Enable module pdo_mysql for fpm SAPI
php5_invoke: Enable module pdo_mysql for cli SAPI
php5_invoke: Enable module pdo_mysql for cgi SAPI
正在处理用于 php5-fpm (5.6.22+dfsg-2+b3) 的触发器 ...
Job for php5-fpm.service failed because a fatal signal was delivered to the control process.
See "systemctl status php5-fpm.service" and "journalctl -xe" for details.
invoke-rc.d: initscript php5-fpm, action "restart" failed.
● php5-fpm.service - The PHP FastCGI Process Manager
Loaded: loaded (/lib/systemd/system/php5-fpm.service; enabled; vendor preset: enabled)
Active: failed (Result: signal) since Thu 2017-09-28 16:08:51 CST; 140ms ago
Process: 8289 ExecStart=/usr/sbin/php5-fpm --nodaemonize --fpm-config /etc/php5/fpm/php-fpm.conf (code=killed, signal=ILL)
Process: 8283 ExecStartPre=/usr/lib/php5/php5-fpm-checkconf (code=exited, status=0/SUCCESS)
Main PID: 8289 (code=killed, signal=ILL)

9月 28 16:08:50 pi-zero-w systemd[1]: Starting The PHP FastCGI Process Manager...
9月 28 16:08:50 pi-zero-w php5-fpm-checkconf[8283]: Illegal instruction
9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Main process exited, code=…/ILL
9月 28 16:08:51 pi-zero-w systemd[1]: Failed to start The PHP FastCGI Process Manager.
9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Unit entered failed state.
9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Failed with result 'signal'.
Hint: Some lines were ellipsized, use -l to show in full.
dpkg: 处理软件包 php5-fpm (--configure)时出错：
子进程 已安装 post-installation 脚本 返回错误状态 1
在处理时有错误发生：
php5-fpm
E: Sub-process /usr/bin/dpkg returned an error code (1)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

pi@pi-zero-w:~ $ sudo apt-get install php5-mysql

正在读取软件包列表... 完成

正在分析软件包的依赖关系树

正在读取状态信息... 完成

下列【新】软件包将被安装：

php5-mysql

升级了 0 个软件包，新安装了 1 个软件包，要卸载 0 个软件包，有 1 个软件包未被升级。

需要下载 0 B/51.6 kB 的归档。

解压缩后会消耗 212 kB 的额外空间。

正在选中未选择的软件包 php5-mysql。

(正在读取数据库 ... 系统当前共安装有 124140 个文件和目录。)

正准备解包 .../php5-mysql_5.6.22+dfsg-2+b3_armhf.deb ...

正在解包 php5-mysql (5.6.22+dfsg-2+b3) ...

正在处理用于 php5-fpm (5.6.22+dfsg-2+b3) 的触发器 ...

正在设置 php5-mysql (5.6.22+dfsg-2+b3) ...

Creating config file /etc/php5/mods-available/mysql.ini with new version

php5_invoke: Enable module mysql for fpm SAPI

php5_invoke: Enable module mysql for cli SAPI

php5_invoke: Enable module mysql for cgi SAPI

Creating config file /etc/php5/mods-available/mysqli.ini with new version

php5_invoke: Enable module mysqli for fpm SAPI

php5_invoke: Enable module mysqli for cli SAPI

php5_invoke: Enable module mysqli for cgi SAPI

Creating config file /etc/php5/mods-available/pdo_mysql.ini with new version

php5_invoke: Enable module pdo_mysql for fpm SAPI

php5_invoke: Enable module pdo_mysql for cli SAPI

php5_invoke: Enable module pdo_mysql for cgi SAPI

正在处理用于 php5-fpm (5.6.22+dfsg-2+b3) 的触发器 ...

Job for php5-fpm.service failed because a fatal signal was delivered to the control process.

See "systemctl status php5-fpm.service" and "journalctl -xe" for details.

invoke-rc.d: initscript php5-fpm, action "restart" failed.

● php5-fpm.service - The PHP FastCGI Process Manager

Loaded: loaded (/lib/systemd/system/php5-fpm.service; enabled; vendor preset: enabled)

Active: failed (Result: signal) since Thu 2017-09-28 16:08:51 CST; 140ms ago

Process: 8289 ExecStart=/usr/sbin/php5-fpm --nodaemonize --fpm-config /etc/php5/fpm/php-fpm.conf (code=killed, signal=ILL)

Process: 8283 ExecStartPre=/usr/lib/php5/php5-fpm-checkconf (code=exited, status=0/SUCCESS)

Main PID: 8289 (code=killed, signal=ILL)

9月 28 16:08:50 pi-zero-w systemd[1]: Starting The PHP FastCGI Process Manager...

9月 28 16:08:50 pi-zero-w php5-fpm-checkconf[8283]: Illegal instruction

9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Main process exited, code=…/ILL

9月 28 16:08:51 pi-zero-w systemd[1]: Failed to start The PHP FastCGI Process Manager.

9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Unit entered failed state.

9月 28 16:08:51 pi-zero-w systemd[1]: php5-fpm.service: Failed with result 'signal'.

Hint: Some lines were ellipsized, use -l to show in full.

dpkg: 处理软件包 php5-fpm (--configure)时出错：

子进程已安装 post-installation 脚本返回错误状态 1

在处理时有错误发生：

php5-fpm

E: Sub-process /usr/bin/dpkg returned an error code (1)

尝试多次后，我发现之前参考的讨论里有人说使用archive.raspbian.org官方的libmysqlclient18包，于是进行尝试，并获得成功。
包下载地址：libmysqlclient18，sha1：a5f6877e856a58efbf9046f8db752646895b137b。

「记录」解决Ubuntu 16.04无法安装php5的问题

薛定谔的nil2017年7月8日 0 Comments

在Ubuntu 16.04 中默认无法安装php5，只能安装php7，直接用如下命令

sudo apt-get install  php5-mysql

1	sudo apt-get install php5-mysql

会提示

Package php5-mysql is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'php5-mysql' has no installation candidate

1

2

3

4

5

Package php5-mysql is not available, but is referred to by another package.

This may mean that the package is missing, has been obsoleted, or

is only available from another source

E: Package 'php5-mysql' has no installation candidate

按照这个文章中给出的解决方法，执行以下指令

sudo apt-get purge `dpkg -l | grep php| awk '{print $2}' |tr "\n" " "`
sudo add-apt-repository ppa:ondrej/php
sudo apt-get update

1

2

3

sudo apt-get purge `dpkg -l | grep php| awk '{print $2}' |tr "\n" " "`

sudo add-apt-repository ppa:ondrej/php

sudo apt-get update

0. 准备工作

0.1. 主机BIOS设置

0.2. 配置PCI设备直通

0.3. 上传系统安装镜像

1. 创建虚拟机

1.1. 设置虚拟机引导方式为EFI

1.2. 设置虚拟机高级配置参数

1.3. 修改虚拟机兼容性

2. 安装操作系统

3. 为虚拟机添加显卡直通

3.1. 启用内存预留

3.2. 添加显卡设备

4. 安装NVIDIA驱动和CUDA

4.1. 检查GPU

4.2. 禁用nouveau

4.3. 安装依赖包

4.4. 安装NVIDIA驱动

4.5. 安装CUDA

解决方案：

1、 显卡直通

1.1、 添加显卡直通

1.2、 修改虚拟机硬件配置参数

1.3、 启动虚拟机并配置基本环境

2、 安装显卡驱动

2.1、 下载驱动

2.2、 检查GPU

2.3、 禁用nouveau

2.3、 安装显卡驱动

2020年6月28日补充

2.4、安装CUDA

3、 安装Docker

3.1、 安装Docker

3.2、 安装nvidia-docker

4、 配置TLS远程管理，及Portainer接入

4.1、 修改openssl配置的CA部分

4.2、 生成私钥并自签证书

4.3、 颁发证书

4.4、 配置Docker使用TLS认证

4.5、 Portainer接入

参考资料

制作macOS High Sierra 10.13.6的ISO安装镜像

神奇的坑

其他操作

1、显卡直通

1.1、添加显卡直通

1.2、修改虚拟机硬件配置参数

1.3、启动虚拟机并配置基本环境

2、安装显卡驱动

2.1、下载驱动

2.2、检查GPU

2.3、禁用nouveau

2.3、安装显卡驱动

3、安装Docker

3.1、安装Docker

3.2、安装nvidia-docker

4、配置TLS远程管理，及Portainer接入

4.1、修改openssl配置的CA部分

4.2、生成私钥并自签证书

4.3、颁发证书

4.4、配置Docker使用TLS认证