容器格式之FLV介绍

FLVFlash Video是 Adobe 推出的流媒体封装格式主要承载 H.263/H.264 视频、MP3/AAC 音频结构极简适合网络边下载边播放。整体分为两大块FLV Header文件头FLV Body数据体由一个个 Tag 组成。一、FLV文件格式FLV文件 [FLV Header] [PreviousTagSize0(4字节)] [Tag1] [PreviousTagSize1(4字节)] [Tag2] ...Header固定 9 字节描述文件版本、是否含音视频PreviousTagSize每个 Tag 后紧跟 4 字节记录上一个 Tag 总长度用于反向遍历Tag真正存储音视频 / 脚本元数据的单元1.1 文件头---------------------------------------------------------------- | Signature(3B) | Version(1B) | Flags(1B) | DataOffset(4B) | | FLV | 0x01 | 音频/视频标志 | 文件数据偏移 | ----------------------------------------------------------------关键字段说明字段大小说明Signature3 字节固定为FLVVersion1 字节FLV 版本通常为 1Flags1 字节bit0: 保留, bit2: 音频标志, bit4: 视频标志DataOffset4 字节文件头大小通常为 91.2 文件体结构文件体由一系列FLV TagPreviousTagSize组成-------------------------------------------------------------- | PreviousTagSize0 | tag1 | PreviousTagSize1 | tag2 | | (4 字节) | (可变长度) | (4 字节) | (可变长度) | --------------------------------------------------------------每个 Tag 结束后追加 4 字节无符号大端整数存储前一个 Tag 的完整字节长度。文件第一个 Tag 前固定为00 00 00 00无前序 Tag作用播放器可从文件末尾倒序读取 Tag快速定位最后一帧1.2.1 tag------------------------------------------------------- | Type(1B) | Size(3B) | Time(3B) | TimeExt(1B)| StreamID(3B)| | 标签类型 | 数据大小 | 时间戳 | 时间戳扩展 | 流 ID(0) | ------------------------------------------------------- | Tag Data (可变长度) | -----------------------------------------------------------字段大小说明示例Tag Type1BTag 类型标识0x08音频,0x09视频,0x12元数据Data Size3BTag Data 的字节长度大端序0x00 00 10 16 字节Timestamp3B时间戳低 24 位毫秒0x00 00 64 100msTimestamp Extension1B时间戳高 8 位与低 24 位组合成完整时间戳Stream ID3B流标识通常为 00x00 00 00Tag Data可变实际数据内容音频/视频/元数据时间戳计算// 时间戳由 3 字节低位 1 字节高位组成 dts avio_rb24(s-pb); // 读取低 24 位 dts | (unsigned)avio_r8(s-pb) 24; // 组合高 8 位二、tag详解2.1音频tag结构音频数据前有一个标志字节--------------------------------------------------- | CodecID(4bit) | SampleRate(2bit) | Size(1bit) | Channel(1bit) | ---------------------------------------------------音频编码格式映射Codec ID值FFmpeg CodecID说明PCM0x00PCM_S16BE/PCM_U8无压缩 PCMADPCM0x10ADPCM_SWFADPCM 压缩MP30x20MP3MPEG-1 Layer 3PCM_LE0x30PCM_S16LE/PCM_U8小端 PCMNellymoser 16kHz0x40NELLYMOSERNellymoser 编码Nellymoser 8kHz0x50NELLYMOSER8kHz 采样Nellymoser0x60NELLYMOSER标准 NellymoserPCM_ALAW0x70PCM_ALAWA-law 编码PCM_MULAW0x80PCM_MULAWμ-law 编码AAC0xA0AAC高级音频编码Speex0xB0SPEEXSpeex 编码采样率映射采样率标志值实际采样率Special0x00特殊Nellymoser 用11025 Hz0x0411.025 kHz22050 Hz0x0822.05 kHz44100 Hz0x0C44.1 kHz2.2 视频tag结构视频数据前有一个标志字节----------------------------------------- | Enhanced FLV Flag1bit|FrameType(3bit) | CodecID(4bit) | -----------------------------------------视频帧类型帧类型标志值说明Key Frame0x10关键帧I帧可独立解码Inter Frame0x20预测帧P帧Disposable Inter0x30可丢弃帧Generated Key0x40生成关键帧保留Video Info0x50视频信息/命令帧视频编码格式映射Codec ID值FFmpeg CodecID说明H.2630x02FLV1Sorenson H.263Screen0x03FLASHSVScreen VideoVP60x04VP6FOn2 VP6VP6 Alpha0x05VP6AVP6 带 AlphaScreen 20x06FLASHSV2Screen Video 2H.2640x07H264AVCReal H.2630x08H263真正的 H.263MPEG-40x09MPEG4MPEG-4 Part 2HEVC0x0CHEVCH.265增强 FLV增强FLV增强 FLV 扩展了视频编码支持通过 FourCC 标识// 增强 FLV 的编码检测 if (enhanced_flv) { codec_id avio_rb32(s-pb); // 读取 FourCC switch (codec_id) { case MKBETAG(h, v, c, 1): // hvc1 par-codec_id AV_CODEC_ID_HEVC; break; case MKBETAG(a, v, 0, 1): // av01 par-codec_id AV_CODEC_ID_AV1; break; case MKBETAG(v, v, c, 1): // vvc1 par-codec_id AV_CODEC_ID_VVC; break; } }2.3 元数据tag┌─────────────────────────────────────────────────────────────────┐ │ 元数据 Tag Data 结构 │ ├─────────────┬──────────────────┬───────────────────────────────┤ │ Type(1B) │ String Length │ String Value │ AMF Object │ │ (AMF类型) │ (2B) │ (可变) │ (可变) │ └─────────────┴──────────────────┴───────────────────────────────┘2.3.1 元数据类型typedef enum { AMF_DATA_TYPE_NUMBER 0x00, // 8字节浮点数 AMF_DATA_TYPE_BOOL 0x01, // 布尔值 AMF_DATA_TYPE_STRING 0x02, // 字符串 AMF_DATA_TYPE_OBJECT 0x03, // 对象 AMF_DATA_TYPE_NULL 0x05, // 空值 AMF_DATA_TYPE_UNDEFINED 0x06, // 未定义 AMF_DATA_TYPE_MIXEDARRAY 0x08, // 混合数组 AMF_DATA_TYPE_ARRAY 0x0a, // 数组 AMF_DATA_TYPE_DATE 0x0b, // 日期 } AMFDataType;2.3.2 元数据关键字段字段名类型说明durationNumber视频时长秒widthNumber视频宽度像素heightNumber视频高度像素framerateNumber帧率fpsvideodatarateNumber视频码率kbpsaudiodatarateNumber音频码率kbpsaudiocodecidNumber音频编码 IDvideocodecidNumber视频编码 IDaudiosamplerateNumber音频采样率audiosamplesizeNumber音频位深stereoBoolean是否立体声encoderString编码器信息2.3.3 关键帧索引keyframes元数据中包含关键帧索引用于快速 Seek// keyframes 对象结构 { keyframes: { times: [0, 1000, 2000, ...], // 关键帧时间戳数组 filepositions: [100, 5000, 12000, ...] // 关键帧文件偏移数组 } }2.3.4 tag比较ag 类型标识主要内容特殊处理音频0x08音频采样数据解析编码格式、采样率、声道视频0x09视频帧数据解析帧类型、编码格式、CTS元数据0x12AMF 格式元信息解析视频参数、关键帧索引