FFmpeg 耗服务器 CPU100%， 能否降低呢？

最近做了一个直播（点播）网站，我准备了两台服务器。
第一台安装宝塔管理站点（简单粗暴）
第二台是用 FFMPEG 转到本地 NGINX 的 HLS 上
但发现第二台服务器运行 FFMPEG 的时候
服务器面板上面图表上 CPU 一直 100% ~ 150%
假如我把服务器合并，就是第一台服务器里用 FFMPEG，会不会有什么问题呢？
因为第一台不止有我个人的，还有客户的，不敢尝试。
自己开一个实例又觉得看不出，毕竟访问的也是一个人，一个站点。
第二台我用每月 40刀的日本服务器，刚开始用 10刀和 20刀的都是 100%
所以换成了 40刀的还是这样，对 FFMPEG 不太了解，换再高的服务器也救不了吗？
度就不说了，谷里搜了也看不到解决办法。 还是我搜索的姿势有问题吗？