在搭配TensorRT运算框架针对U-Net运算部分进行优化之后，可以显著提升NVIDIA显卡进行Stable Diffusion AI算图的效能，让我们一起抢先测试它的效果如何。

利用TensorRT强化运算效能

如果有人想要尝试TensorRT运算框架的最佳化效果，可以先参考GitHub上stable-diffusion-webui-tensorrt项目的「trt_overhaul」分枝，跟着说明操作就能安装必要程序、转换模型，并享有最佳化的效能提升。 目前Stable Diffusion WebUI所使用的TensorRT运算框架还处于相当早期的开发阶段，尽支持U-Net运算部分的优化，且输出图像分辨率仅支持512 x 512、768 x 768，且无法藉由Hires Fix.功能变更输出图像分辨率。

▲可以追踪该GitHub资讯，以掌握版本更新信息。

实际部署教程

使用trt_overhaul的整个流程需要先安装对应的插件，在安装过程中预先写好的脚本会自动安装所需的相依程序。 之后用户需要先将Stable Diffusion的模型（checkpoint或safetensors格式）转换为ONNX格式模型，接着再次转换为TensorRT格式。 需要注意的是，转换为TensorRT格式模型的步骤将花费较长的时间，且需要指定想要转换的分辨率与批次尺寸（Batch Size，同时算图的数量），并会分别转档得到多组专用模型，在图像生成的时候只能使用匹配的模型，无法混搭使用。 实际的安装与使用情况请参考下列图文说明。

▲ 开启Stable Diffusion WebUI界面后，先至Extensions页面并选择Install from URL，在URL字段输入「https://github.com/MorkTheOrk/stable-diffusion-webui-tensorrt」，并在Branch字段输入「trt_ overhaul」，之后按下Install。

▲ 接着到Setting页面，找到Quicksettings list项目，手动输入「sd_unet」。

▲ 安装好后重新启动Stable Diffusion WebUI并进入TensorRT页面的Convert to ONNX标签，然后在Stable Diffusion checkpoint下拉式菜单选择要转换的模型，并点击Convert按钮。

▲ 接着切换到Convert ONNX to TensorRT标签，选择模型并指定想要转换的分辨率与批次尺寸，并勾选Use half floats使用半精度浮点数数据格式以提升运算效能，最后点击Convert按钮，这个转换过成可能需要等待很久。 （若ONNX模型没有出现，可以点一下Refresh List按钮）

▲ 回到txt2img页面，先照一般方式生成图片。

▲ 接着在SD Unet选择对应的分辨率与批次尺寸参数，选项中的后方的w、h参数对应Stable Diffusion WebUI的分辨率设定值，b参数对应批次尺寸。 设定完成点击Generate开始生成图片，应该可以发现生成图像的效能大幅提升。

▲ 以NVIDIA GeForce RTX 4090进行性能测试，以固定的提示词生成分辨率为768 x 768的图像。 可以看到使用Xformer大约可以达到79.83%的效能增益，但是使用TensorRT最高可以达到196.92%的效能增益，让整体速度达到接近3倍之谱。

参考实际使用经验，仅能使用指定分辨率且不能使用Hires Fix.功能，造成生成图片的分辨率没有调整弹性，让目前TensorRT运算框架的实用价值大打折扣，希望未来能改善这个状况。

截稿后更新 程序又更新了版本，加入了在转换TensorRT格式模型的步骤可以自定分辨率与多种设定的功能，笔者将在之后更新对应的教学。