“NVIDIA GeForce RTX 4070 SUPER” を購入した。

2024年1月17日の夜23時に日本国内で発売された、 “NVIDIA GeForce RTX 4070 SUPER” グラフィクス カードを販売開始直後にインターネット通販サイトにて注文しました。

購入した製品は “MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC” です。
https://jp.msi.com/Graphics-Card/GeForce-RTX-4070-SUPER-12G-VENTUS-2X-OC
それと、今までのPC電源は容量が450Wで不足してしまうので、80PLUS GOLD認証の750W電源も一緒に購入。
電源は “玄人志向 / KRPW-GK750W/90+” です。

因みに “GeForce RTX 4070 SUPER” の性能は、FP32精度で約35.48TFLOPSなので、理論値では以前私が使用していたGeForce RTX 3060の12.74TFLOPSに対して約2.8倍の処理性能となります。
[計算式]
2FLOPS/Clock * Frequency * CUDA cores

そして実際に機械学習を実行したところ、正確な集計ではありませんが、凡そ6.7 seconds/stepから凡そ3.3 seconds/step程度へと約2倍以上高速化出来たのを確認しています。
尚、私の環境ではCPU offloadingでGPU-CPU間でデータを頻繁に遣り取りさせているので、そこがボトルネックとなって律速しているように思います。
この時のモデルのパラメーター数はtorchsummaryによると、Trainable paramsが463,054,627(4億6千3百万余り)です。

これは自宅に届いた “MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC” の箱です。

“MSI GeForce RTX 3060 VENTUS 2X 12G OC” は全体が黒色のシェルでしたが、 “MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC” は銀色のシェルとなっていますね。

“GeForce RTX 4070 SUPER” は補助電源ケーブルが新規格の12VHPWRケーブルになっていますので、既存の電源と接続出来るように二分岐の6+2ピンの変換ケーブルが付属しておりました。

グラフィクス カードの裏面もしっかりとプレートで補強されていますね。

取り外した “MSI GeForce RTX 3060 VENTUS 2X 12G OC” は新品の様に綺麗でした。
誰かに差し上げたいですが、身近に貰ってくれる人が居るかどうか。

因みに、今回新たに導入した “MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC” は以下のように、設定可能な最小電力が100W、最大電力が220Wとなっておりましたので、早速前回同様の方法で電力制限を180Wに設定しました。

$ nvidia-smi -q -d POWER

==============NVSMI LOG==============

Timestamp                                 : Sat Jan 20 03:59:05 2024
Driver Version                            : 535.154.05
CUDA Version                              : 12.2

Attached GPUs                             : 1
GPU 00000000:01:00.0
    GPU Power Readings
        Power Draw                        : 1.86 W
        Current Power Limit               : 180.00 W
        Requested Power Limit             : 180.00 W
        Default Power Limit               : 220.00 W
        Min Power Limit                   : 100.00 W
        Max Power Limit                   : 220.00 W
    Power Samples
        Duration                          : 7.25 sec
        Number of Samples                 : 119
        Max                               : 7.39 W
        Min                               : 1.51 W
        Avg                               : 2.73 W
    Module Power Readings
        Power Draw                        : N/A
        Current Power Limit               : N/A
        Requested Power Limit             : N/A
        Default Power Limit               : N/A
        Min Power Limit                   : N/A
        Max Power Limit                   : N/A

尚、CPUも電力制限を160Wに設定し直しています。

余談ですが、PCの構成を購入したグラフィクス カードと750W電源に換装した際、どうしても電源がオンにならず、PCの起動が出来なくてやや焦りました。
原因を探る為にグラフィクス カードを外したり、折角挿した電源ケーブルを抜いたりと試行錯誤してしまいました。

電源が怪しいという事になったので、まずは古い電源に戻してみたところ、正しく起動出来ました。次に、マザーボードと接続するコネクターの端子の内、電源をオンする為の端子2つを針金でショートさせてみたところ、電源ファンは正常に回転しました。

結果、電源が故障している訳ではない事が分かったので、恐らくコネクターがきつ過ぎて奥まで入っていないものがあったりするかもしれないと考え、改めてケーブルを全力で挿し込み、電源をオンしてみると、今度は正しくPCが起動しました。

やはり新しい電源のケーブルのコネクターが非常にきつく、置くまで挿せていないものがあったのが原因かもしれません。