CPU Offloading

機械学習フレームワークのPyTorchにて、NVIDIA GeForce RTX 3060 GPU 12GB VRAMとメインメモリー64GBで、約3.65億パラメーターの大きなモデルのCPU Offloadingでのトレーニングに成功したので、そのやり方を掲載いたします。