引言

音视频开发需要你懂得音视频中一些基本概念,针对编解码而言,我们必须提前懂得编解码器的一些特性, 码流的结构,码流中一些重要信息如 sps,pps,vps,start code 以及基本的工作原理,而大多同学都只是一知半解,所以导致代码中的部分内容虽可以简单理解却不知其意

FFmpeg 是什么？

FFmpeg 既是一款音视频编解码工具，同时也是一组音视频编解码开发套件，作为编解码开发套件，它为开发者提供了丰富的音视频的调用接口

FFmpeg 中的 “FF” 指的是 “Fast Forward”，FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group”（动态图像专家组）

强大的功能

FFMpeg 提供了多种媒体格式的封装和解封装，包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等；FFmpeg 框架提供了多种丰富的插件模块，包含封装与解封装的插件、编码与解码的插件等

FFmpeg 模块分类

打开 FFmpeg 源码，会发现有一系列 libavxxx 的模块，这些模块很好地划分了代码的结构和分工

• libavformat，format，格式封装
• libavcodec，codec，编码、解码
• libavutil，util，通用音视频工具，像素、IO、时间等工具
• libavfilter，filter，过滤器，可以用作音视频特效处理
• libavdevice，device，设备（摄像头、拾音器）
• libswscale，scale，视频图像缩放，像素格式互换
• libavresample，resample，重采样
• libswresample，也是重采样，类似图像缩放
• libpostproc，后期处理

FFmpeg 数据结构简介

AVFormatContext

封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息

iformat：输入视频的AVInputFormat
nb_streams ：输入视频的AVStream 个数
streams ：输入视频的AVStream []数组
duration ：输入视频的时长（以微秒为单位）
bit_rate ：输入视频的码率

AVInputFormat

每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体

name：封装格式名称
long_name：封装格式的长名称
extensions：封装格式的扩展名
id：封装格式ID  
一些封装格式处理的接口函数

AVStream

视频文件中每个视频（音频）流对应一个该结构体

id：序号
codec：该流对应的AVCodecContext
time_base：该流的时基
r_frame_rate： 该流的帧率

AVCodecContext

编码器上下文结构体，保存了视频（音频）编解码相关信息

codec：编解码器的AVCodec
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（ 只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频）

AVCodec

每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体

name：编解码器名称
long_name：编解码器长名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数

AVPacket

存储一帧压缩编码数据

pts：显示时间戳
dts ：解码时间戳
data ：压缩编码数据
size ：压缩编码数据大小
stream_index ：所属的AVStream

AVFrame

存储一帧解码后像素（采样）数据

data：解码后的图像像素数据（音频采样数据）。
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
width, height：图像的宽高（只针对视频）。
key_frame：是否为关键帧（只针对视频） 。
pict_type：帧类型（只针对视频） 。例如I， P， B。

FFmpeg的一些应用场景

下面介绍一下 FFmpeg 都用在了哪里（在这里仅列几个我所知的，其实远比这个多）。说白了就是为了说明：FFmpeg 是非常重要的。

使用 FFmpeg 作为内核视频播放器：

• Mplayer，ffplay，射手播放器，暴风影音，KMPlayer，QQ影音...

使用 FFmpeg 作为内核的 Directshow Filter：

• ffdshow，lav filters...

使用 FFmpeg 作为内核的转码工具：

• ffmpeg，格式工厂...

事实上，FFmpeg 的音视频编解码功能确实太强大了，几乎囊括了现存所有的音视频编码标准，因此只要做音视频开发，几乎离不开它

至此，我们今天 FFmpeg 的相关编码原理就介绍到这里了；希望以上的内容能够对大家有所帮助，关于 FFmpeg 的相关技术问题，我们还要去好好的学习剖析；因此我把工作中遇到的 音视频 FFmpeg 编码器问题，以及对网上大部分的资料的收集和整理，最终整合出了一份 《高级音视频开发学习笔记》，有需要这份学习笔记的朋友，可以 私信 发送 “笔记” 即可 免费获取

内容展示如下：

高级音视频开发学习笔记目录

基础部分

• C++ 基本知识总结
• C 和C++ 的主要区别是什么？
• 结构程序设计和面向对象程序设计的概念
• 什么是类和对象?
• 面向对象程序设计的三大特征是什么?
• 类的组成
• 结构体和类的区别是什么?
• 类对象的定义方法和对象成员的表示方法
• 构造函数和析构函数

高级音视频开发学习笔记获取方式 ：私信发送 “笔记” 即可 免费获取

FFmpeg 编译过程

• 准备资料
• ndk 环境配置
• 编写脚本文件

FFmpeg 引入 AndroidStudio

• 新建项目
• 配置 build.gradle
• 配置 CMakeLists.txt 文件
• 编写测试代码(头文件一定要用 extern 包含住)

高级音视频开发学习笔记获取方式 ：私信发送 “笔记” 即可 免费获取

音视频格式封装原理

• 视频解码基础 01 -封裝格式
• 视频文件封装格式
• 音视频编码方式简介
• 视频编码方式
• 音频编码方式
• MP3
• AAC
• WMA

H264 编码基础 06 -- 编码标准之战

• 一个视频标准的普及其实是商业利益博弈的结果
• 一个视频标准能普及还在于他的对手
• WMV
• VP8
• AV1

H264 编码基础 01 帧与场

• 视频序列帧、场编码方式
• H264 编码(帧内预测)
• 视频流 H264 的组装
• 三种帧的说明
• 压缩算法的说明
• 手写 H264 编码器

有需要完整版高级音视频开发学习笔记的朋友：可以 私信 发送 “笔记” 即可 免费获取

对于程序员来说，要学习的知识内容、技术有太多太多，要想不被环境淘汰就只有不断提升自己，从来都是我们去适应环境，而不是环境来适应我们

技术是无止境的，你需要对自己提交的每一行代码、使用的每一个工具负责，不断挖掘其底层原理，才能使自己的技术升华到更高的层面

加油！让我们早日成为音视频高级开发者