flutter tauri视频转4K软件
天平 人气:0前言
先说结论，tauri是一个非常优秀的前端桌面开发框架，但是，rust门槛太高了。
一开始我是用electron来开发的，但是打包后发现软件运行不是很流畅，有那么一点卡顿。于是为了所谓的性能，我尝试用tauri来做我的软件。在学了两星期的rust后，我发现rust真的太难学了，最后硬是边做边查勉强做出来了。
软件运行起来是比electron做的丝滑很多，但是写rust真的是很痛苦，rust的写法和其他语言是截然不同的，在不知道之前我是个rust吹，觉得rust就是牛逼，真的上手后发现rust的门槛真的太高了，各种逆天的写法直接把我劝退，tauri无缝衔接前端真的又很爽。
如果golang也出一个和tauri一样的桌面端框架，那么golang将会是未来开发中的不二语言。
开发原因
我平时喜欢看一些动漫视频或者是收藏一些做得不错的动漫MAD，但是有时候因为番剧出的年代久远的问题，就算找最高清的资源，视频也不过720P，又或者是在b站上看一些动漫MAD的时候，up主虽然用的转场技巧比较不错，但是使用的动漫素材的质量比较差，十分可惜。
于是我想能不能做一个视频转4K的软件？类似于修复视频的功能。虽然网络上的修复视频软件有很多了，但是效果还是达不到我的要求，于是说干就干。
工作原理
视频其实就是一帧一帧的图片组成，如果要把视频转成4K，那么只要把视频分解成图片，再将图片转4K图片，最后将4K图片合并成4K视频就可以了。
于是我搜了一圈，了解到有Real-ESRGAN]这样的一个将图片转成4K的软件。并且里面也提供好了视频转4K的案例。
先用ffmpeg将视频分解成图片：
ffmpeg -i 原视频 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 临时图片路径/frame%08d.png
再用Real-ESRGAN将图片转4K图片：
./realesrgan-ncnn-vulkan.exe -i 临时图片目录 -o 4K图片目录 -n realesr-animevideov3 -s 2 -f jpg
最后查看原视频的帧数，然后用ffmpeg将4K图片合成4K视频：
ffmpeg -i 原视频 ffmpeg -r 23.98 -i 4K图片路径/frame%08d.jpg -c:v libx264 -r 帧数 -pix_fmt yuv420p 4K视频
只不过这样操作起来非常繁琐，并且只能一个个转，不能批量操作，也不能看到进度。虽然可以写一个cmd脚本批量操作，但是看不到进度，体验不是很好的。于是说干就干，开发软件！
开发过程
tauri提供了一些后端的操作权限给前端，也就是在前端就能完成读写文件，这就非常方便了！但是也是有一定限制的，比如要读取任意文件，就要rust去操作。
前提工作先准备一个文件，导出一个数组，pids，以便关闭软件时杀死所有windows进程。
export const pids: number[] = []
首先是创建3个文件夹，临时图片文件夹，图片转4K图片文件夹，输出视频文件夹，用来存放输出的资源的:
await readDir(`${basePath.value}/img_temp`).catch(() => {
createDir(`${basePath.value}/img_temp`)
})
await readDir(`${basePath.value}/img_out`).catch(() => {
createDir(`${basePath.value}/img_out`)
})
await readDir(`${basePath.value}/output`).catch(() => {
createDir(`${basePath.value}/output`)
})
然后是选定一个input文件夹，然后读取文件夹下面的视频，是rust实现:
fn read_dir_file(path: String) -> Vec<String> {
let mut arr: Vec<String> = vec![];
for item in read_dir(path).unwrap() {
if !item.as_ref().unwrap().path().is_dir() {
arr.push(item.unwrap().file_name().into_string().unwrap());
}
}
return arr;
}
因为返回的是一个数组，前端获取到之后，就遍历去操作。但后面为了方便，我则是遍历这个数组，然后创建子组件，传入文件路径，让子组件去操作:
import { invoke } from '@tauri-apps/api/tauri'
const fileList = await invoke<string[]>('read_dir_file', { path: path.value })
首先还是遍历创建子文件夹，方便管理：
await readDir(`${props.basePath}/img_temp/${fileName}`).catch(() => {
createDir(`${props.basePath}/img_temp/${fileName}`)
})
await readDir(`${props.basePath}/img_out/${fileName}`).catch(() => {
createDir(`${props.basePath}/img_out/${fileName}`)
})
接着调用tauri提供的shell指令： 不过在此之前，先要配置tauri.conf.json，让tauri支持任意命令
"tauri": {
"allowlist": {
"shell": {
"scope": [
{
"name": "ffmpeg",
"cmd": "cmd",
"args": ["/C", { "validator": "\\S+" }]
}
]
},
},
}
然后先执行读取视频的信息得到帧数和视频的总秒数，以便计算进度，并且把返回的pid存到数组中:
import { Command } from '@tauri-apps/api/shell'
const fps = ref('5')
const duration = ref('')
const cmd1 = `ffmpeg -i ${props.basePath}/input/${props.file}`
const command1 = new Command('ffmpeg', ['/C', cmd1])
const child1 = await command1.spawn()
command1.stderr.on('data', (line) => {
const fpsResult = line.match(/\w{2}\.?\w{0,2}(?= fps)/)
/** 匹配视频持续时间的信息 */
const durationResult = line.match(/(?<=Duration: ).+(?=, start)/)
if (fpsResult) {
fps.value = fpsResult[0]
console.log('fps', fps.value)
}
if (durationResult) {
duration.value = durationResult[0]
console.log('duration', duration.value)
}
})
pids.push(child1.pid)
用正则匹配帧数和持续时间，存到变量中。在命令执行完毕后，接着执行将视频分解图片的任务：
command1.on('close', async () => {
const cmd2 = `${props.ffmpegPath} -i ${props.basePath}/input/${props.file} -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 ${props.basePath}/img_temp/${fileName}/frame%08d.png`
const command2 = new Command('ffmpeg', ['/C', cmd2])
const child2 = await command2.spawn()
pids.push(child2.pid)
})
至于监听进度，图片的总数是可以通过帧数和视频总秒数计算出来的，总秒数乘以帧数，就是要转换的图片总数。由于得到的持续时间是'00:04:32'这种格式的，先写一个函数将时间转成秒数：
/**
* @description 将字符串的时间转成总秒数的时间 00:04:35
* @param time 字符串的时间
* @returns 返回秒数的时间
*/
export function formatTime(time: string) {
const hours = Number(time.split(':')[0])
const mimutes = Number(time.split(':')[1])
const seconds = Number(time.split(':')[2])
return hours * 60 * 60 + mimutes * 60 + seconds
}
总图片就可以计算出来了，然后在输出时，使用节流，每隔1秒读取一次该文件夹下面的图片数量，则进度就是当前的图片数量/图片总数。
读取文件数量需要rust操作"
fn read_dir_file_count(path: String) -> i32 {
let dir = read_dir(path).unwrap();
let mut count: i32 = 0;
for _ in dir {
count += 1;
}
return count;
}
则整体是：
const total = formatTime(duration.value) * Number(fps.value)
command2.stderr.on('data', async (line) => {
const current = await invoke<number>('read_dir_file_count', {
path: `${props.basePath}/img_temp/${fileName}`,
})
console.log(current, total)
precent1.value = Math.round((current / total) * 100)
})
precent1就是绑定的进度条的变量。
在任务关闭后，执行优化图片的命令：
command2.on('close', async () => {
const cmd3 = `${props.realesrgan} -i ${props.basePath}/img_temp/${fileName} -o ${props.basePath}/img_out/${fileName} -n realesr-animevideov3 -s 2 -f jpg`
const command3 = new Command('ffmpeg', ['/C', cmd3])
const child3 = await command3.spawn()
pids.push(child3.pid)
})
监听转换的进度仍是读取文件夹下面当前的图片数量，用节流函数，优化性能:
command3.stderr.on('data', throttle(fn, 2000))
async function fn() {
const current = await invoke<number>('read_dir_file_count', {
path: `${props.basePath}/img_out/${fileName}`,
})
precent2.value = Math.round((current / total) * 100)
console.log(current, total, (current / total) * 100)
// console.log(line)
}
最后在命令完成后，执行4K图片转4K视频的命令：
command3.on('close', async () => {
const cmd4 = `${props.ffmpegPath} -r ${fps.value} -i ${props.basePath}/img_out/${fileName}/frame%08d.jpg -i ${props.basePath}/input/${props.file} -map 0:v:0 -map 1:a:0 -c:a copy -c:v ${props.model} -r ${fps.value} -pix_fmt yuv420p ${props.basePath}/output/${props.file}`
const command4 = new Command('ffmpeg', ['/C', cmd4])
const child4 = await command4.spawn()
pids.push(child4.pid)
})
监听进度此时则是去获取stderr输出的信息，然后匹配到当前转换的时间，再除以总时间
const total = formatTime(duration.value)
command4.stderr.on('data', throttle(fn, 200))
async function fn(data: string) {
/** 控制台的信息 */
const result = data.match(/(?<=time=).+(?= bitrate)/)
if (result) {
const current = formatTime(result[0])
console.log(current, total)
precent3.value = Math.round((current / total) * 100)
}
}
最后，如果关闭软件时，则是先把所有的任务都杀死，再关闭：
async function closeApp() {
await Promise.all(
pids.map(async (pid) => {
return new Promise((resolve) => {
const cmd = `taskkill /f /t /pid ${pid}`
const command = new Command('ffmpeg', ['/C', cmd])
command.spawn()
command.on('close', () => {
resolve(0)
})
})
})
)
appWindow.close()
}
以下是我的演示视频，不过文件有点大
这是我的项目地址：github.com/Minori-ty/m…
软件也已经打包好了，开箱即用github.com/Minori-ty/m…
加载全部内容