简易AI字幕翻译与配音工具,可把英文视频转录成中文视频,支持Docker快速部署

AI摘要
本文介绍了一款开源视频翻译工具,支持语音转录、字幕翻译与语音合成,可将英文视频转为中文。工具提供Gradio界面,操作简单,支持Docker快速部署,CPU/GPU均可运行,默认使用免费翻译服务,也可配置大语言模型优化翻译效果。

一、简介

  • 该工具是一个可以把将视频从一种语言翻译为另一种语言,同时支持语音识别转录、字幕翻译、语音合成
  • 目前默认支持英文视频转录成中文视频(可以扩展更多语言)
  • 提供Gradio图形界面,操作简单便捷
  • 支持Docker快速部署启用
  • 开源代码地址参考:github.com/luler/hello_video_dubbi...
  • 以下是这个工具的系统架构图
    简易AI字幕翻译与配音工具,可把英文视频转录成中文视频,支持Docker快速部署

二、安装

  • 准备一台主机,至少为2H4G的配置,可以是纯CPU,也可以配置GPU加速(可选)
  • 提前安装好Docker、docker-compose软件运行环境
  • 拉取项目代码
    git clone https://github.com/luler/hello_video_dubbing.git
  • 进入代码目录,编辑docker-compose.yml,配置内容参考如下
    version: '3'
    services:
    hello_video_dubbing:
      image: ghcr.io/luler/hello_video_dubbing:latest
      #    build:
      #      context: .
      #      dockerfile: Dockerfile
      restart: always
      ports:
        - 17860:7860 #查看主机端口17860是否被占用,占用则修改为其他
      volumes:
        - .:/app
  • 复制默认参考配置.env.example为.env,按需要修改相关配置
    #翻译类型,默认是 google,可选 openai,选openai时需要配置openai接口兼容的模型服务
    TRANSLATE_TYPE=google
    # 大语言模型翻译配置,TRANSLATE_TYPE=openai才需要设置
    OPENAI_BASE_URL=https://api.openai.com/v1
    OPENAI_API_KEY=sk-xxx
    OPENAI_MODEL=gpt-xx
    #设置代理,如果主机在国内需要设置代理,因为白嫖的google翻译、tts语音服务只能外部网络可用
    #http_proxy=http://127.0.0.1:10808
    #https_proxy=http://127.0.0.1:10808
  • 配置完成,可以直接执行如下命令启动服务,镜像拉取可能比较缓慢,请自行配置加速
    docker-compose up -d
    执行完成,查看服务是否正常运行,参考下图
    简易AI字幕翻译与配音工具,可把英文视频转录成中文视频,支持Docker快速部署

三、使用

  • 接下来就是非常简单的操作了,点击上传视频、选择处理类型、提交处理
    简易AI字幕翻译与配音工具,可把英文视频转录成中文视频,支持Docker快速部署
  • 系统后台处理完成,实时输出处理日志,最终输出处理完毕的结果

四、总结

  • 这是一个简易的视频语言转录工具,方便将视频从一种语言翻译为另一种语言,有助于目标语言用户观看、学习和理解视频内容
  • 运行部署要求低,CPU/GPU均可运行,支持Docker快速部署启动
  • 配置简单、低依赖,翻译、配音等组件均采用免费方案,也支持通过大语言模型来优化翻译结果(建议)
  • 提供gradio可视化操作界面,可以远程在线使用

部署了一个临时试用地址:cas.luler.top/?search=671be383c009...

本作品采用《CC 协议》,转载必须注明作者和本文链接
我只想看看蓝天
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!