FFmpeg低延迟优化最佳实践：QT中RTSP播放参数调优详解

在实时视频播放、直播和监控系统中，低延迟体验是核心需求。FFmpeg默认行为为了保证流畅性会使用缓冲和分析机制，这会引入明显延迟，通常在1~3秒甚至更高

FFmpeg默认行为会尽量保证解码完整性，包括长时间探测流信息和解码缓冲。对于点播视频，这种机制很好，但在实时场景中，缓冲和分析带来的延迟不可接受。

一、为什么要优化延迟？

FFmpeg默认行为会尽可能保证解码的完整性，进行长时间流探测（probesize）、分析（analyzeduration）并在解码端缓冲数据。这种机制适合点播，但在实时场景（RTSP、直播推流）中，额外的分析和缓冲会导致几秒的启动和播放延迟。

低延迟优化的目标是让数据“即到即解”，实现“即到即播”。减少探测、分析和缓冲引入的延迟，同时保证解码器在低延迟模式下运行

二、低延迟参数详解

使用函数av_dict_set对FFmpeg参数进行设置，最后一个参数 0 的意义是 flags 标志位

av_dict_set(&dict, "framedrop", "1", 0);

av_dict_set 函数原型

int av_dict_set(AVDictionary **pm, const char *key, const char *value, int flags);

• pm：指向 AVDictionary 的指针
• key：参数名称，如 "framedrop"
• value：参数值，如 "1"
• flags：控制如何设置参数的标志位

常用 flags 值包括：

• 0：表示默认行为，如果键已经存在则覆盖。
• AV_DICT_APPEND：如果键已存在，则在原值后追加新值。
• AV_DICT_DONT_OVERWRITE：如果键已存在，则不覆盖原值。
• AV_DICT_MULTIKEY：允许同一个键有多个值。

1. fflags=nobuffer

av_dict_set(&dict, "fflags", "nobuffer", 0);

参数说明：fflags 是输入格式标志集合，nobuffer 表示禁用输入缓冲。可以组合多个标志控制流处理方式。
作用：禁用FFmpeg的输入缓冲，让数据到达后立即解码，而不是积累一定量后再处理。
效果：显著降低RTSP流播放延迟，启动速度更快。
风险：网络抖动大时可能花屏或丢帧。

2. flags=low_delay

av_dict_set(&dict, "flags", "low_delay", 0);

参数说明：flags 是解码器或格式上下文的标志位，low_delay 表示启用低延迟模式。
作用：避免帧重排序，减少解码端缓冲。
效果：保证“即解即显”。
风险：流中存在大量B帧时可能画面异常。

3. probesize=1024

av_dict_set(&dict, "probesize", "1024", 0);

参数说明：probesize 指定探测流信息的最大字节数（单位字节），用于解析音视频格式。
作用：缩小探测字节数，加快流探测速度。
效果：降低启动延迟，首帧显示更快。
风险：探测不足可能导致无法识别音视频流信息。

4. analyzeduration

av_dict_set(&dict, "analyzeduration", "100000", 0);

参数说明：analyzeduration 是解析流所花时间（单位微秒），用于格式探测和流信息分析。
作用：缩短分析时间，加快初始化。
效果：首帧显示速度提升，延迟明显降低。
风险：分析时间过短可能导致轨道信息不完整或解码参数错误。

**5. rtsp_transport

av_dict_set(&dict, "rtsp_transport", "tcp", 0);

参数说明：rtsp_transport 控制RTSP传输协议，可选 udp、tcp 或 http。
作用：强制使用TCP，避免UDP丢包。
效果：网络不稳定时画面更稳定，减少花屏。
风险：TCP重传可能带来瞬时延迟。

6. max_delay=0

av_dict_set(&dict, "max_delay", "0", 0);

参数说明：max_delay 指定解码器内部网络缓冲的最大延迟（单位微秒）。
作用：关闭缓冲限制，实现最小延迟播放。
效果：进一步降低播放延迟，使流接近实时。
风险：网络条件差时容易出现花屏或丢帧。

**7. timeout

av_dict_set(&dict, "timeout", "1000000", 0);

参数说明：timeout 指定I/O操作超时时间（微秒），用于网络读取等待。
作用：防止长时间阻塞，快速返回错误。
效果：网络断开或无响应时避免播放器卡死。
风险：网络延迟稍大可能误判超时，导致连接中断。

8. sync=ext

av_dict_set(&dict, "sync", "ext", 0);

参数说明：sync 控制音视频同步方式，ext 表示使用外部时钟。
作用：多流同步时保持时间基准。
效果：理论上改善多流同步问题。
风险：单路播放意义不大，可能引入同步混乱或卡顿，一般不启用。

9. framedrop=1

av_dict_set(&dict, "framedrop", "1", 0);

参数说明：framedrop 表示解码速度跟不上播放速度时是否允许丢帧，1 表示启用。
作用：丢帧保持实时性。
效果：延迟不会累积，音视频同步维持稳定。
风险：画面可能跳帧，低帧率视频跳跃明显，一般不启用。

10. rtpflags

av_dict_set(&dict, "rtpflags", "prefer_tcp", 0);

参数说明：控制 RTP 包传输特性，例如 prefer_tcp 表示优先使用 TCP 传输 RTP 包。
作用：在 UDP 丢包严重时强制使用 TCP，保证数据完整性。
效果：提高稳定性，减少画面花屏。
风险：TCP重传可能增加瞬时延迟，不适合极致低延迟场景。

11. packet_buffering

av_dict_set(&dict, "packet_buffering", "0", 0);

参数说明：控制解码器是否缓存完整数据包，0 表示禁用。
作用：数据包到达后立即解码。
效果：降低播放延迟，首帧显示更快。
风险：网络抖动时容易出现丢帧或花屏。

12. transport_stream_mode

av_dict_set(&dict, "mpegts_flags", "resend_headers", 0);

参数说明：针对 MPEG-TS 流的标志，resend_headers 表示每个关键帧前重复发送头信息。
作用：保证解码器在丢包或跳帧时能快速恢复。
效果：提高播放连续性，降低恢复延迟。
风险：增加传输开销，网络带宽紧张时可能轻微卡顿。

13. tune

av_dict_set(&dict, "tune", "zerolatency", 0);

参数说明：控制编码器优化目标，zerolatency 表示针对低延迟场景优化。
作用：减少编码端延迟，例如 B 帧数量设为 0。
效果：与解码端低延迟配合，整体延迟显著降低。
风险：编码压缩效率下降，码率可能略微增加。

14. max_delay_packets

av_dict_set(&dict, "max_delay_packets", "1", 0);

参数说明：指定最大允许延迟的网络包数量。
作用：严格限制解码缓冲中的包数，降低延迟。
效果：延迟控制更精确，播放更接近实时。
风险：网络波动大时容易丢帧或卡顿。

15. buffer_size

av_dict_set(&dict, "buffer_size", "10240", 0);

参数说明：设置输入缓冲区大小（单位字节）。
作用：降低缓冲区大小可减少延迟。
效果：延迟降低，但保持一定缓冲可以平滑网络抖动。
风险：缓冲过小，网络波动时容易花屏或卡顿。

16. rtsp_flags

av_dict_set(&dict, "rtsp_flags", "prefer_tcp", 0);

说明：RTSP 连接的标志位，可控制是否优先使用 TCP 或其他传输策略。
作用：优化流稳定性和丢包处理。
风险：TCP 优先可能增加瞬时延迟。

17. fifo_size

av_dict_set(&dict, "fifo_size", "512", 0);

说明：解码器 FIFO 缓冲区大小（单位帧），控制帧队列长度。
作用：减少延迟累积。
风险：过小容易丢帧，过大延迟增加。

18. drop_pkts_on_overflow

av_dict_set(&dict, "drop_pkts_on_overflow", "1", 0);

说明：当解码缓冲区满时，是否丢弃新到达的数据包。
作用：保证播放端实时性。
风险：丢包会导致画面跳帧或花屏。

19. max_interleave_delta

av_dict_set(&dict, "max_interleave_delta", "0", 0);

说明：控制解复用时允许音视频包交错的最大时间差（单位微秒）。
作用：减少解复用缓冲延迟。
风险：过小可能导致同步问题或丢帧。

20. fpsprobesize

av_dict_set(&dict, "fpsprobesize", "1", 0);

说明：探测流帧率信息所用的帧数。
作用：减少初始化帧率探测时间，加快首帧显示。
风险：探测帧数过少可能导致帧率识别错误。

21. buffer_time

av_dict_set(&dict, "buffer_time", "0", 0);

说明：输入流缓冲时长（微秒）。
作用：减小延迟，接近实时播放。
风险：网络波动时容易出现丢帧或花屏。

22. rtsp_transport_mode

av_dict_set(&dict, "rtsp_transport_mode", "tcp", 0);

说明：指定 RTSP 传输模式，如 TCP、UDP、HTTP。
作用：保证流稳定，减少丢包。
风险：TCP 模式可能增加瞬时延迟。

23. analyze_skip

av_dict_set(&dict, "analyzeduration", "0", 0);

说明：允许跳过流分析，直接尝试解码。
作用：极端低延迟场景使用，加快首帧显示。
风险：可能导致无法正确识别音视频流。

三、低延迟优化总结

使用上述参数优化后，可以降低RTSP流启动延迟，播放延迟可降至300~500毫秒。虽然延迟下降明显，但网络波动可能导致丢帧或花屏，需要根据实际场景调节参数组合。例如网络稳定可以启用nobuffer、low_delay和max_delay=0；网络不稳定则建议保留缓冲并谨慎使用激进参数

四、QT代码示例

以下是Qt项目中应用低延迟参数的代码实现：

AVDictionary *dict = nullptr;

// 低延迟优化配置
if (m_lowLatencyMode) {
    av_dict_set(&dict, "fflags", "nobuffer", 0);           // 禁用缓冲
    av_dict_set(&dict, "flags", "low_delay", 0);           // 低延迟模式
    av_dict_set(&dict, "probesize", "1024", 0);            // 探测大小
    av_dict_set(&dict, "analyzeduration", "100000", 0);    // 100ms分析
    av_dict_set(&dict, "sync", "ext", 0);                  // 控制音视频同步方式
    av_dict_set(&dict, "framedrop", "1", 0);               //  是否允许丢帧

    qDebug() << "应用低延迟FFmpeg参数";
}

// 网络参数优化
av_dict_set(&dict, "rtsp_transport", "tcp", 0);
av_dict_set(&dict, "max_delay", "0", 0);
av_dict_set(&dict, "timeout", "1000000", 0);

// 打开流
int ret = avformat_open_input(&fmt_ctx, url, nullptr, &dict);

五、最佳实践建议

1. 低延迟模式只在实时性要求高的场景启用，普通点播或回放保持默认配置。

2. 网络条件差时，不要强行关闭缓冲，可以放宽probesize和analyzeduration。

3. 避免使用sync和framedrop，除非有特殊需求，因为它们可能引入不可控的同步问题或画面跳帧。