音ノ木坂学院

叶え!みんなの夢――

0%

Gen8打造寝室多用服务器(软件篇)

Gen8的硬件全部就位之后,就是系统的安装工作。
(一边装一边写)

宿主软件:Windows Server vs VMWare ESXi

Gen8的宿主系统一般为Windows Server和VMWare ESXi。Windows Server 2012 R2可以在Microsoft Dreamspark上拿到,ESXi使用HP定制版(下载地址)。Windows Server的优势在于图形界面,熟悉Windows可以很容易上手;ESXi的优势在于是可以安装Mac OS X,而且逼格高(划掉),适合熟悉Linux的用户使用。对于我来说,使用ESXi还有一个好处,就是中二时期用Workstaion配置的一堆虚拟机都可以直接导进去而无需什么改变。于是我选择了ESXi。
看了一下发行列表,最新的是ESXi 6.0 Update1,网上大多资料是5.5或5.0。查了一下ESXi6的最新特性,主要是使用VMWare Workstation 11建立的虚拟机必须在ESXi6下才能打开。这点在之前Workstation转Fusion的时候深受其害。于是果断选择了ESXi6.0U1 发行号为3073146的版本。(后记:这里的确是搞错了,升级后不兼容的是Workstation 12的版本。尝试了一下Workstation 12的虚拟机导入ESXi 6.0提示不支持。搜了一下“ESXi Workstation 12”也没有补丁或解决方法,大概只能等待ESXi更新)。
需要说明的是,从ESXi5.5开始,对系统内存的要求就增加到了4G,不过对于我们的16G内存似乎没有太大问题。

磁盘配置:AHCI vs RAID

Gen8默认使用自带的阵列工具,但是BIOS也支持AHCI模式。RAID模式的优点是配置简单,可以实现连续存储,使用RAID1+1的话还可以实现备份和恢复;缺点是SSD使用RAID0并不好,而且RAID模式下磁盘无法休眠,影响磁盘性能。AHCI模式的优点是磁盘和桌面环境一致,SSD可以发挥最大优势;然而缺点是SSD装系统需要想办法引导,而且由于非阵列模式下Gen8读取不到磁盘温度,风扇转速会很高导致噪音偏大(这个问题可以通过使用破解版BIOS解决)。
一开始我是选择AHCI模式,把ESXi装到SSD里;再在USB设备里安装grub2,用来引导系统。但是蛋疼的是尝试了好久都没法让Gen8读到TF卡或U盘里的grub2。由于某课DDL临近,急需一台主机,于是就改成了双RAID0。顺便安慰自己:咱用的可是Intel的SSD和红盘,跑RAID不怂!

ESXi安装和网络配置

Gen8提供了很多种系统安装方案。然而使用iLO加载光盘镜像直接安装的时候,会在Installing那一步报fail要求重启。查了一下说是因为RAID配出来的GPT盘没有被格式化,需要先格式化。连系统都没有你让我怎么格啊!(摔。Windows和Windows Server的安装盘在这里又蜜汁不能识别两个RAID。于是就刻了一个USB启动盘,选择USB启动,安装到SSD那个RAID上,一路确定安装成功。
ESXi安装好后可以看到一个黄灰相间的界面,这个时候需要配置网络。由于我的网口插了一根iLO,一根网卡2,所以需要在网络设置里把网卡2启用。然后等待路由器DHCP分配IP。最后使用ESXi自带的ping工具检测一下路由器IP,我浙DNS的IP和随便一个外网IP,确定都能ping通后网络配置就完成了。之后就可以通过VMWare vSphere Client设置这台主机了。
对于Gen8的双网卡,还想过另外一种配置,就是一条网卡直接连到学校内网,用于在学校内部访问Gen8而避免繁琐的路由器设置,同时保留一个网卡连接到拨了VPN的路由器上,用于Gen8访问外网。现在已经为Gen8申请了新的IP,具体设置似乎也不难?等这周交了作业大概可以开始搞。

vSphere下虚拟机安装、资源管理和硬件直通配置

由于使用了6.0U1的ESXi,vSphere Client也要更新到6.0以及上,最好也是6.0U1,不然连接后会要求下载组件,还总是下载失败。如果曾经安装过旧版本,从VMWare官网下载最新版本的vSphere直接覆盖安装即可。
登录界面有个提示,ESXi5.5之后的功能只能在vSphere Web Client里使用。
VMWare Client 6.0U1的官网下载链接以及备份下载链接。如果试用期没过的话Client都可以直接在My VMWare里下,如果试用期过了就可以来这里。下载后建议检验一下MD5或SHA1。
顺带一个福利,你懂的。

Workstation虚拟机导入到ESXi

打开Wordstation,文件->连接到服务器,输入ESXi服务器的IP地址、用户名和密码。连接成功后会在左边“库”里看到多出来一个和“我的计算机”并列的服务器。直接把“我的计算机”下的虚拟机拖动到服务器下,名称可以不用变,存储选择SSD那个RAID(因为速度会快很多),点击确定,接下来就看硬盘和网速了。
迁移完成后,还需要对虚拟机设置进行一点调整,比如硬盘的分配,还有内存和CPU等。
话说我在Mac的vSphere里打开了迁移过去的虚拟机,Thinkpad的Workstation里立刻看到了图形界面,感觉简直爽!以后就可以用Fusion,抛弃Parallels了。

OS X安装

vSphere里添加虚拟机和Workstation的步骤没有什么不同,这里重点要讲一下OS X的安装。如果之前有Workstation安装OS X的经历会非常方便(似乎不小心暗示了曾经装黑苹果失败的事实)。
对于unlocker,这里使用2.08版本(下载地址)。
对于OS X版本,可以安装旧版本然后更新(似乎从Lion安装最容易?),也有直接装Capitan成功的。查了一下VMWare官网,6.0U1的确支持10.11。于是直接上Capitan!(事实上是因为直接装Yosemite的时候会提示“已经不再提供此商品”)
这里偷了一下懒,直接从PCBeta上下载了网友制作的懒人版镜像,把cdr直接改成iso,上传到存储里。新建一个OS X 10.10类型的虚拟机,分配了2*2核和8G内存,把iso加载到光驱里勾上开机链接,点开机,就可以一步一步安装了。

(说来做到这里的时候正在等下载,回头一看Mac上用来跑vSphere的Win10 on Parallels突然更新了……更新了……这感觉就好像买了两只仓鼠放寝室用来看,结果它们俩下崽了一样……不过win10对高DPI的支持真是肉眼可见的越来越棒,所以更新就让它更吧……)

为硬件直通做准备,显卡安装驱动。我的显卡是R7 250,下载地址

Gen8的RAID卡在ESXi下的速度问题

在OS X安装过程中,需要把几个G的安装文件拷贝到磁盘上,速度非常之慢。看着任务管理器里的网络连接一直在70Mb/s附近来回跳,突然意识到:不对啊!这个配置怎么也应该是100MB/s附近的读写吧(网卡限制)!服务器端7MB/s的读写速度是什么鬼啊!
于是赶快谷歌一下”ESXi6 Gen8”,看到了各种”Low I/O Performance””Very Slow to datastores”之类的post……
仔细研究一下,是Gen8使用的RAID卡的驱动,在ESXi5.5的某个Update2版本(2068190还没换,2403361已经换了)中更新了,而新版本驱动就会导致这个问题。
解决办法要么装低版本的ESXi5.5,要么就用ssh把B120i的驱动刷到较低版本。
下载(我最后用的88版本):
包含scsi-hpvsa-5.5.0-84OEM.550.0.0.1198611.x86_64.vib的hpvsa-5.5.0-84.0-offline-bundle.zip
包含scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib的hpvsa-5.5.0-88.zip
(要用zip的原因是,http拿到vib其实是重新生成的,虽然加了nosigcheck选项,但是似乎还是会出现检测错误?我第一次安装的时候没看到InstallationError就Exit再重启了,然后重启之后整个阵列找不到,所有虚拟机都提示没有对应的存储设备,然后还手贱把虚拟机全删了,等意识到发生了什么后整个人全蒙圈了……于是在SSD上新建了一块存储,传上了能用的vib文件,然后安装成功了……幸好重新启动后原来的存储还在,找到虚拟机文件右键“添加到清单”也还能用……)
下载后先上传到ESXi存储里,这里使用88的版本,然后连接ssh
ssh在“主机->配置选项卡->软件/安全配置文件->服务/属性”里启动
存储设备在/vmfs/volumes/中可以看到卷标

1
2
3
4
cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
esxcli system maintenanceMode set --enable true
esxcli software vib remove -n scsi-hpvsa -f
esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode

过程略慢,完成后重启ESXi,在vSphere中退出维护模式。ssh似乎会自动关闭。
装完之后第一次测试,一开始速度冲到了90M/s附近,但是两秒钟后速度就往下掉。想了一下原因,猜测是在阵列卡里打开了Writing cache。关闭之后再次重启测试,速度基本能在80M/s附近波动,也算差强人意了。

黑群晖安装

似乎可以使用模版很快完成,需要查一下版本等问题。

数据盘挂载和共享

目标:16T的RAID至少可以被Win和黑裙访问。之后物理机C盘丢在SSD上,其他盘丢在16TRAID上。
似乎有个东西叫RDM磁盘映射?

资源池配置

其实已经做完了www

物理机虚拟化导入到ESXi

全部配置完成后,原有的Thinkpad就可以卖了(认真脸)。但是里面的资料和软件还是很重要的,所以需要虚拟化,然后导到ESXi。这里使用VMWare vCenter Converter Standalone。

虚拟机硬件直通

虚拟机导入/安装好后,只用Workstaion或Fusion来使用也太亏了,毕竟还有现成的屏幕和键鼠。于是这里设置一下硬件直通,让虚拟机里的OS可以直接访问显卡,并通过显卡上的MiniDP接口输出到显示器上。
重点是驱动,驱动,驱动。
还备用了一份USB3.0的驱动。

卖电脑(没啥不对)

于是就在98数码版挂了一下。我不知道什么µ’s Fan Meeting,就想要两千块钱。

接下来应该是新机子正式投入到开发了吧……先有明天DDL的海量多媒体索引的论文,虽然不一定立刻实现但是似乎可以涌来做那个求计立项的项目;下周还有导师安排的使用CNN的Multi-Domain的一个追踪,大概可以用这个机子装一下Caffe;然后十二月中旬还有智能终端的项目,我们组的项目需要爬校内各种网战,还要相应客户端请求,估计也是用这台机子吧(玉泉不断网简直太好了)。
总之十二月其实会很忙吧。