C语言 ffmpeg与sdl
CodeOfCC 人气:0前言
视频的时钟同步有时是很难理解的，甚至知道了理论并不能确保实现，需要通过实践获取各种参数以及具体的实现逻辑。本文将介绍一些视频时钟同步的具体实现方式。
一、直接延时
我们播放视频是可以直接延时的，这种方式比较不准确，但是也算是一种初级的方法。
1、根据帧率延时
每渲染一帧都进行一个固定的延时，这个延时的时间是通过帧率计算得来。
//获取视频帧率 AVRational framerate = play->formatContext->streams[video->decoder.streamIndex]->avg_frame_rate; //根据帧率计算出一帧延时 double duration = (double)framerate.num / framerate.den; //显示视频 略 //延时 av_usleep(duration* 1000000);
2、根据duration延时
每渲染一帧根据其duration进行延时，这个duration在视频的封装格式中通常会包含。
//获取当前帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。或者自己实现多帧估算duration。 AVRational timebase = play->formatContext->streams[video->decoder.streamIndex]->time_base; double duration = frame->pkt_duration * (double)timebase.num / timebase.den; //显示视频 略 //延时 av_usleep(duration* 1000000);
二、同步到时钟
注：这一部分讲的只有视频时钟同步不涉及音频。
上面的简单延时一定程度可以满足播放需求，但也有问题，不能确保时间的准确性。尤其是解复用解码也会消耗时间，单纯的固定延时会导致累计延时。这个时候我们就需要一个时钟来校准每一帧的播放时间。
1、同步到绝对时钟
比较简单的方式是按绝对的方式同步到时钟，即视频有多长，开始之后一定是按照系统时间的长度播放完成，如果视频慢了则会不断丢帧，直到追上时间。
定义一个视频起始时间,在播放循环之外的地方。
//视频起始时间，单位为秒 double videoStartTime=0;
播放循环中进行时钟同步。下列代码的frame为解码的AVFrame。
//以下变量时间单位为s
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
currentTime = pts;
diff = 0;
}
//时间早了延时
if (diff < 0)
{
//小于阈值,修正延时，避免延时过大导致程序卡死
if (diff< -0.1)
{
diff =-0.1;
}
av_usleep(-diff * 1000000);
currentTime = av_gettime_relative() / 1000000.0 -videoStartTime;
diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
av_frame_unref(frame);
av_frame_free(&frame);
//此处返回即不渲染，进行丢帧。也可以渲染追帧。
return;
}
//显示视频
略
2、同步到视频时钟
同步到视频时钟就是，按照视频播放的pts为基准，每次渲染的时候都根据当前帧的pts更新视频时钟。与上面的差距只是多了最底部一行时钟更新代码。
//更新视频时钟 videoStartTime = av_gettime_relative() / 1000000.0 - pts;
因为与上一节代码基本一致，所以不做具体说明，直接参考上一节说明即可。
//以下变量时间单位为s
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
currentTime = pts;
diff = 0;
}
//时间早了延时
if (diff < 0)
{
//小于阈值,修正延时，避免延时过大导致程序卡死
if (diff< -0.1)
{
diff =-0.1;
}
av_usleep(-diff * 1000000);
currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
av_frame_unref(frame);
av_frame_free(&frame);
//此处返回即不渲染，进行丢帧。也可以渲染追帧。
return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略
三、同步到音频
1、音频时钟的计算
要同步到音频我们首先得计算音频时钟，通过音频播放的数据长度可以计算出pts。
定义两个变量，音频的pts，以及音频时钟的起始时间startTime。
//下列变量单位为秒 double audioPts=0; double audioStartTime=0;
在sdl的音频播放回调中计算音频时钟。其中spec为SDL_AudioSpec是SDL_OpenAudioDevice的第四个参数。
//音频设备播放回调
static void play_audio_callback(void* userdata, uint8_t* stream, int len) {
//写入设备的音频数据长度
int dataSize;
//将数据拷贝到stream
略
//计算音频时钟
if (dataSize > 0)
{
//计算当前pts
audioPts+=(double) (dataSize)*/ (spec.freq * av_get_bytes_per_sample(forceFormat) * spec.channels);
//更新音频时钟
audioStartTime= = av_gettime_relative() / 1000000.0 -audioPts;
}
}
2、同步到音频时钟
有了音频时钟后，我们需要将视频同步到音频，在二、2的基础上加入同步逻辑即可。
//同步到音频 double avDiff = 0; avDiff = videoStartTime - audioStartTime; diff += avDiff;
完整代码
//以下变量时间单位为s
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//同步到音频
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
currentTime = pts;
diff = 0;
}
//时间早了延时
if (diff < 0)
{
//小于阈值,修正延时，避免延时过大导致程序卡死
if (diff< -0.1)
{
diff =-0.1;
}
av_usleep(-diff * 1000000);
currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
av_frame_unref(frame);
av_frame_free(&frame);
//此处返回即不渲染，进行丢帧。也可以渲染追帧。
return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略
总结
就是今天要讲的内容，本文简单介绍了几种视频时钟同步的方法，不算特别难，但是在网上查找的资料比较少。可以参考的ffplay的实现也有点复杂，本文的实现部分借鉴了ffplay。本文实现的时钟同步还是可以继续优化的，比如用pid进行动态控制。以及duration的计算可以细化调整。
加载全部内容