設定 - KVMのGPUパススルーのソースを表示

== 概要 ==

<br><br>

== 前提条件 ==
# 2枚以上のグラフィックボード(マザーボード内蔵でも可)が必要である
#: 1つはLinuxホストで使用され、もう1つはWindowsを実行している仮想マシン(以降、VMという)で使用される。
#: また、VMにIntel統合GPU(Intel UHD等)を使用することはできない。ATI製またはnVidia製のみ使用できる。
#: ただし、LinuxホストにIntel統合GPUを使用することはできる。
# CPUの機能において、Intel VT-DまたはAMD-Viをサポートするマザーボードが必要である。
#: リストはここにある。BIOS上で有効にする必要がある。
# PCIのルートポートは、VMで使用するGPUと同じIOMMUグループの一部であってはならない。(詳細は後述)
# VMが使用するプライマリディスプレイの空き入力ポートまたはセカンダリディスプレイの空き入力ポートがあること。
<br><br>

== KVM / QEMUのインストール ==
KVM / QEMUおよび依存関係のライブラリをインストールする。<br>
 # SUSE
 sudo zypper innstall libvirt libvirt-client libvirt-daemon virt-manager virt-install virt-viewer qemu qemu-kvm ovmf qemu-ovmf-x86_64 qemu-tools
<br>
[https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso こちらのWebサイト]から、VirtIOドライバをダウンロードする。<br>
<br><br>

== IOMMUの有効化 ==
Intel VT-xとAMD-Viは、一般的にIOMMUと呼ばれる。<br>
IOMMUを有効にするには、/etc/default/grubファイル(ブートローダファイル)にあるGRUB_CMDLINE_LINUX_DEFAULTセクションに以下の設定を追記する。<br>
 # Intel CPU
 intel_iommu=on intel_iommu=pt 
 
 # AMD CPU
 amd_iommu=on amd_iommu=pt 
<br>
<span style="color: #A00000><u>'''※調査中'''</u></span><br>
<span style="color: #A00000>'''また、調査中ではあるが、vfio-pciをデバイスにバインドするには、'''</span><br>
<span style="color: #A00000>'''GRUB_CMDLINE_LINUX_DEFAULTにrd.driver.pre=vfio-pciを追記する必要があるかもしれない。'''</span><br>
<br>
grubを再構築するために、以下のコマンドを実行する。<br>
 grub2-mkconfig -o /boot/grub2/grub.cfg
<br>
Linuxを再起動する。<br>
再起動後、IOMMUが有効になっているか確認するため、以下のコマンドを実行する。<br>
 # Intel CPU
 dmesg|grep -e DMAR -e IOMMU
 
 # AMD CPU
 dmesg | grep AMD-Vi
<br>
有効化されている場合は、以下のようなメッセージが出力される。<br>
 # Intel CPU
 DMAR: IOMMU enabled
 ・
 ・
 ・
 
 # AMD CPU
 [ 3.697093] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
 [ 3.702890] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
 [ 3.702890] pci 0000:00:00.2: AMD-Vi: Extended features (0x58f77ef22294ade):
 [ 3.702892] AMD-Vi: Interrupt remapping enabled
 [ 3.702893] AMD-Vi: Virtual APIC enabled
 [ 3.702893] AMD-Vi: X2APIC enabled
 [ 3.702983] AMD-Vi: Lazy IO/TLB flushing enabled
<br>
次に、IOMMUグループが有効であることを確認する。<br>
以下のシェルスクリプトを作成して実行する。(ここでは、シェルスクリプトのファイル名をlsIOMMU.shとする)<br>
 <source lang="sh">
 #!/bin/bash
 
 shopt -s nullglob
 for d in /sys/kernel/iommu_groups/*/devices/*; do
    n=${d#*/iommu_groups/*}; n=${n%%/*}
    printf ‘IOMMU Group %s ‘ “$n”
    lspci -nns “${d##*/}”
 done;
 </source>
<br>
 # 実行
 chmod u+x lsIOMMU.sh
 sudo ./lsIOMMU.sh
<br>
出力結果は下図のようになる。この図から、2つのことが分かる。<br>
VMで使用するデバイスがどのIOMMUグループであるか(下図の場合は、グループ11)およびそのベンダー/モデルID(下図の場合は、1002：683fおよび1002：aab0)である。<br>
この出力結果は、IOMMUグループ内で(関連付けられているオーディオデバイスを無視して)単独のデバイスに対してのみ機能する。<br>
[[ファイル:GPU PassThrough 1.jpg|フレームなし|中央]]
<br><br>

== 複数のGPUの分離 ==
2つ以上のGPUを分離する必要がある。<br>
これは、異なるメーカーのGPUが2つある場合(ここでは、VMで使用するGPUをブラックリストに登録するだけ)は非常に簡単であるが、<br>
両方のGPUが同じベンダーのものである場合は少し複雑になる。<br>
また、両方のGPUが同じモデルの場合、さらに複雑になる。<br>
GPUが同じベンダーのものであったとしても、両方のGPUが完全に同じモデルでない限り、この設定に従うことができる。<br>
<span style="color: #A00000><u>'''この設定では、2つの全く同一のGPUでは機能しないので注意すること。'''</u></span><br>
<br>
<u>'''2つのグラフィックボードがそれぞれ異なる場合(nVidia製とATI製)'''</u><br>
/etc/modprobe.d/50-blacklist.confファイルを編集して、以下の内容を追記する。<br>
 # LinuxホストにATI製グラフィックボード、VMにnVidia製グラフィックボードを使用する場合
 blacklist amdgpu 
 
 # LinuxホストにnVidia製グラフィックボード、VMにATI製グラフィックボードを使用する場合
 blacklist nouveau
 blacklist nvidia
<br>
<u>'''2つのグラフィックボードが同じ場合(両方ともnVidia製または両方ともATI製)'''</u><br>
まず、/etc/modprobe.d/gpu-passthrough.confファイルを作成して、以下のように編集する。<br>
ここで、<VMで使用するGPUのベンダー>と<VMで使用するGPUのモデルID>は、上記セクションで実行したlsIOMMU.shの出力結果に記載されている。<br>
 options vfio-pci ids=<VMで使用するGPUのベンダー>,<VMで使用するGPUのモデルID>
<br>
例えば、上記セクションの結果から、以下のように記述する。<br>
 options vfio-pci ids=1002:683f,1002:aab0
<br>
次に、/etc/default/grubファイルのGRUB_CMDLINE_LINUX_DEFAULTセクションに以下を追記する。<br>
 rd.driver.pre=vfio-pci 
<br><br>

== initrdの再構築 ==
必要な全てのモジュールを含めるには、initrdを再構築する必要がある。<br>
/etc/dracut.conf.d/gpu-passthrough.confファイルを作成して、以下のように編集する。<br>
(先頭と末尾にスペースが必要なので注意すること)<br>
 add_drivers+=" pci_stub vfio vfio_iommu_type1 vfio_pci vfio_virqfd kvm kvm_intel "
<br>
initrdを再構築するために、以下のコマンドを実行する。<br>
 dracut -f /boot/initrd $(uname -r)
<br>
initrdの再構築の完了後、Linuxホストを再起動する。<br>
設定ミスで失敗すると、Linuxホストが起動できなくなる可能性があるので注意すること。<br>
<br><br>

== GPUが分離されていることを確認 ==
GPUが分離されているか確認する。<br>
以下のコマンドを実行して、使用中のカーネルドライバーを探す。<br>
 lspci -k
<br>
分離するGPU(VMで使用するGPU)を探す。vfio-pciと記載されている。
 02:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Cape Verde PRO [Radeon HD 7750/8740 / R7 250E]
 Subsystem: PC Partner Limited / Sapphire Technology Device a001
 Kernel driver in use: vfio-pci
 Kernel modules: radeon
 02:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Cape Verde/Pitcairn HDMI Audio [Radeon HD 7700/7800 Series]
 Subsystem: PC Partner Limited / Sapphire Technology Device aab0
 Kernel driver in use: vfio-pci
 Kernel modules: snd_hda_intel
<br><br>

== ゲストOSの作成 ==
# まず、/etc/libvirt/qemu.confファイルを開いて、nvramセクションを以下のうように編集する。
#: nvram = ["/usr/share/qemu/ovmf-x86_64.bin:/usr/share/qemu/ovmf-x86_64-code.bin"]
# libvirtデーモンを再起動する。
#: sudo systemctl restart libvirtd
# Virtual Machine Managerを起動して、新しいVMを作成する。<br>Architecture Optionには、Local Install Mediaとx86_64を選択する。
# Use ISO Imegeを選択して、WindowsのISOファイルを選択する。
# VMに割り当てるメモリとCPUコアの数を選択します。
# VMのディスクイメージを作成する。(既にに定義されている場合は選択する。また、ディスク全体でも構わない。パスをそこに配置して、ホストにマウントされていないことを確認する)
# VMに名前を付けて、Customize configuration before installがチェックされていることを確認して、Finishボタンを押下する。
# VM構成画面(以降、メイン画面とする)に移動する。画面左の[Overview]で、UEFIファームウェアとi440FXチップセットを選択する。
# メイン画面左の[CPUs]で、[Configuration]項目の[Model: ]にhost-passthroughを設定する。(リストにない場合は、host-passthroughと入力する)
# メイン画面左下の[Add Hardware]ボタンを押下すると、[Add New Virtual Hardware]画面が表示される。<br>この画面左の[Controller]を選択して、[Type: ]項目にSCSI、[Model: ]項目にVirtIO SCSIと入力する。<br>(パフォーマンスを向上させるために、タイプを必ずVirtIO SCSIに変更する)
# メイン画面左の[SCSI Disk 1]を選択して、[Advanced Options]項目の[Disk bus]項目にSCSIを選択する。
# メイン画面左の[PCI Host Device]を選択して、分離されたGPUを追加する。<br>サウンドデバイスがあり、ディスプレイに(HDMIまたはディスプレイポート経由で)サウンド出力がある場合は、サウンドカード(ここでは、PCIデバイス02：00.1)も追加する。
# メイン画面左の[USB Host Device]を選択して、キーボードとマウスを追加する。追加のペアがある場合は、VMが起動すると入力が取得されるため、より適切である。
# 同様に、不要なデバイス(タブレット、ディスプレイスパイス、コンソール、チャンネルスパイス、ビデオQXL等)を全て削除する。<br>ディスプレイにサウンド出力がない場合またはVGA経由で接続する場合は、サウンドカードが必要である。<br>1000円程度の安価なUSBサウンドカードを購入してPCに取り付けた場合、キーボードとマウスを追加したように追加する。
# VMに割り当てたばかりのグラフィックボードをディスプレイに接続し、[Begin Installation]ボタンを押下する。<br>全て正しく設定されていれば、そのディスプレイにVMが起動していることがわかる。
# Windowsをインストールする。<br>上記(2)でダウンロードしたVirtIOドライバーが必要である。(vioscsiディレクトリの下に存在する)
# Windowsのインストール完了後、[https://symless.com/synergy Synergy(有償ソフトウェア)]をインストールできる。<br>これは、物理的なKVM(Keyboard-Video-Mouse)スイッチなしで、複数のPCで同じキーボードとマウスを使用できる。 
<br><br>

__FORCETOC__
[[カテゴリ:CentOS]][[カテゴリ:SUSE]]