Virtual memory 包括 disk 和 RAM

• 一般而言，tensor 是可分页的，即可以一部分在 disk，一部分在 RAM
• Pinned tensor 是不可分页的，必须全部在 RAM

Pinned，page-locked，non-pageable memory 的访问会更快但是空间没有虚拟空间那么大

当要把数据从 cpu 送往 gpu 时，需要先有一个 page-locked copy

同步与异步拷贝

当调用 to() 时，默认会执行 cudaMemcpyAsync，即异步传输

• 默认 non_blocking=False，会调用 cudaStreamSynchronize，在主线程阻塞 to()，这是同步
• non_blocking=True 时，不会阻塞，从主机的视角看，可以发送多个传输任务，这是异步

更多性能优化分析