nvidia-smiコマンドで確認した動作中のプロセスをkillしたが、なぜかGPUのUsageが解放されないということはないでしょうか?
私はAWSのg5インスタンスを利用中に発生しました。
もしそのような現象が発生したらfuserコマンドを使ったら解消するかも知れません。
私は下記で解消しました。 参考URL
# プロセスの確認
sudo fuser /dev/nvidia
# 上記で出現したプロセスの削除
sudo fuser /dev/nvidia -k
わざわざインスタンスを再起動して解放していましたが、この方法でOKでした。困っている方はお試しあれ。