FFMPEG是特别强大的专门用于处理音视频的开源库。你既可以使用它的API对音视频进行处理,也可以使用它提供的工具,如 ffmpeg, ffplay, ffprobe,来编辑你的音视频文件。
本文将简要介绍一下 FFMPEG 库的基本目录结构及其功能,然后详细介绍一下我们在日常工作中,如何使用 ffmpeg 提供的工具来处理音视频文件。
FFMPEG 目录及作用
- libavcodec: 提供了一系列编码器的实现。
- libavformat: 实现在流协议,容器格式及其本IO访问。
- libavutil: 包括了hash器,解码器和各利工具函数。
- libavfilter: 提供了各种音视频过滤器。
- libavdevice: 提供了访问捕获设备和回放设备的接口。
- libswresample: 实现了混音和重采样。
- libswscale: 实现了色彩转换和缩放工能。
FFMPEG基本概念
在讲解 FFMPEG 命令之前,我们先要介绍一些音视频格式的基要概念。
在音视频领域,我们把一路音/视频称为一路 流 。如我们小时候经常使用VCD看港片,在里边可以选择粤语或国语声音,其实就是CD视频文件中存放了两路音频流,用户可以选择其中一路进行播放。
我们一般把 MP4、 FLV、MOV等文件格式称之为 容器 。也就是在这些常用格式文件中,可以存放多路音视频文件。以 MP4 为例,就可以存放一路视频流,多路音频流,多路字幕流。
FFMPEG 命令
除了 FFMPEG 的基本信息查询命令外,其它命令都按下图所示的流程处理音视频。
1 |
_______ ______________ |
ffmpeg调用libavformat库(包含demuxers)来读取输入文件并获取包含编码数据的数据包。 当有多个输入文件时,ffmpeg会尝试通过跟踪任何活动输入流上的最低时间戳来使其保持同步。
您可以通过使用-vn / -an / -sn / -dn选项来禁用某些默认设置。 要进行全面的手动控制,请使用-map选项,该选项禁用刚描述的默认设置。
基本信息查询命令
FFMPEG 可以使用下面的参数进行基本信息查询。例如,想查询一下现在使用的 FFMPEG 都支持哪些 filter,就可以用
ffmpeg -filters
来查询。详细参数说明如下:
参数 | 说明 |
---|---|
-version | 显示版本。 |
-formats | 显示可用的格式(包括设备)。 |
-demuxers | 显示可用的demuxers。 |
-muxers | 显示可用的muxers。 |
-devices | 显示可用的设备。 |
-codecs | 显示libavcodec已知的所有编解码器。 |
-decoders | 显示可用的解码器。 |
-encoders | 显示所有可用的编码器。 |
-bsfs | 显示可用的比特流filter。 |
-protocols | 显示可用的协议。 |
-filters | 显示可用的libavfilter过滤器。 |
-pix_fmts | 显示可用的像素格式。 |
-sample_fmts | 显示可用的采样格式。 |
-layouts | 显示channel名称和标准channel布局。 |
-colors | 显示识别的颜色名称。 |
接下来介绍的是 FFMPEG 处理音视频时使用的命令格式与参数。
命令基本格式及参数
1 |
ffmpeg [global_options] {[input_file_options] -i input_url} ... |
ffmpeg 通过 -i 选项读取输任意数量的输入“文件”(可以是常规文件,管道,网络流,抓取设备等,并写入任意数量的输出“文件”。
要引用选项中的输入文件,您必须使用它们的索引(从0开始)。 例如。 第一个输入文件是0,第二个输入文件是1,等等。类似地,文件内的流被它们的索引引用。 例如。 2:3是指第三个输入文件中的第四个流。
上面就是 FFMPEG 处理音视频的常用命令,下面是一些常用参数:
主要参数
参数 | 说明 |
---|---|
-f fmt(输入/输出) | 强制输入或输出文件格式。 格式通常是自动检测输入文件,并从输出文件的文件扩展名中猜测出来,所以在大多数情况下这个选项是不需要的。 |
-i url(输入) | 输入文件的网址 |
-y(全局参数) | 覆盖输出文件而不询问。 |
-n(全局参数) | 不要覆盖输出文件,如果指定的输出文件已经存在,请立即退出。 |
-c [:stream_specifier] codec(输入/输出,每个流) | 选择一个编码器(当在输出文件之前使用)或解码器(当在输入文件之前使用时)用于一个或多个流。codec 是解码器/编码器的名称或 copy(仅输出)以指示该流不被重新编码。如:ffmpeg -i INPUT -map 0 -c:v libx264 -c:a copy OUTPUT |
-codec [:stream_specifier]编解码器(输入/输出,每个流) | 同 -c |
-t duration(输入/输出) | 当用作输入选项(在-i之前)时,限制从输入文件读取的数据的持续时间。当用作输出选项时(在输出url之前),在持续时间到达持续时间之后停止输出。 |
-ss位置(输入/输出) | 当用作输入选项时(在-i之前),在这个输入文件中寻找位置。 请注意,在大多数格式中,不可能精确搜索,因此ffmpeg将在位置之前寻找最近的搜索点。 当转码和-accurate_seek被启用时(默认),搜索点和位置之间的这个额外的分段将被解码和丢弃。 当进行流式复制或使用-noaccurate_seek时,它将被保留。当用作输出选项(在输出url之前)时,解码但丢弃输入,直到时间戳到达位置。 |
-frames [:stream_specifier] framecount(output,per-stream) | 停止在帧计数帧之后写入流。 |
-filter [:stream_specifier] filtergraph(output,per-stream) | 创建由filtergraph指定的过滤器图,并使用它来过滤流。filtergraph是应用于流的filtergraph的描述,并且必须具有相同类型的流的单个输入和单个输出。在过滤器图形中,输入与标签中的标签相关联,标签中的输出与标签相关联。有关filtergraph语法的更多信息,请参阅ffmpeg-filters手册。 |
视频参数
参数 | 说明 |
---|---|
-vframes num(输出) | 设置要输出的视频帧的数量。对于-frames:v,这是一个过时的别名,您应该使用它。 |
-r [:stream_specifier] fps(输入/输出,每个流) | 设置帧率(Hz值,分数或缩写)。作为输入选项,忽略存储在文件中的任何时间戳,根据速率生成新的时间戳。这与用于-framerate选项不同(它在FFmpeg的旧版本中使用的是相同的)。如果有疑问,请使用-framerate而不是输入选项-r。作为输出选项,复制或丢弃输入帧以实现恒定输出帧频fps。 |
-video_size [:stream_specifier]大小(输入/输出,每个流) | 设置窗口大小。作为输入选项,由某些分帧器识别,其帧尺寸未被存储在文件中。作为输出选项,这会将缩放视频过滤器插入到相应过滤器图形的末尾。请直接使用比例过滤器将其插入到开头或其他地方。格式是’wxh’(默认 - 与源相同)。 |
-aspect [:stream_specifier] 宽高比(输出,每个流) | 设置方面指定的视频显示宽高比。aspect可以是浮点数字符串,也可以是num:den形式的字符串,其中num和den是宽高比的分子和分母。例如“4:3”,“16:9”,“1.3333”和“1.7777”是有效的参数值。如果与-vcodec副本一起使用,则会影响存储在容器级别的宽高比,但不会影响存储在编码帧中的宽高比(如果存在)。 |
-vn(输出) | 禁用视频录制。 |
-vcodec编解码器(输出) | 设置视频编解码器。这是-codec:v的别名。 |
-vf filtergraph(输出) | 创建由filtergraph指定的过滤器图,并使用它来过滤流。 |
-pixel_format | 指定原始数据的格式,如yuv420p |
音频参数
参数 | 说明 |
---|---|
-aframes(输出) | 设置要输出的音频帧的数量。这是-frames:a的一个过时的别名。 |
-ar [:stream_specifier] freq(输入/输出,每个流) | 设置音频采样频率。对于输出流,它默认设置为相应输入流的频率。对于输入流,此选项仅适用于音频捕获设备和原始分路器,并映射到相应的分路器选件。 |
-ac [:stream_specifier]通道(输入/输出,每个流) | 设置音频通道的数量。对于输出流,它默认设置为输入音频通道的数量。对于输入流,此选项仅适用于音频捕获设备和原始分路器,并映射到相应的分路器选件。 |
-an(输出) | 禁用录音。 |
-acodec编解码器(输入/输出) | 设置音频编解码器。这是-codec的别名:a。 |
-sample_fmt [:stream_specifier] sample_fmt(输出,每个流) | 设置音频采样格式。使用-sample_fmts获取支持的样本格式列表。 |
-af filtergraph(输出) | 创建由filtergraph指定的过滤器图,并使用它来过滤流。 |
了解了这些基本信息后,接下来我们看看 FFMPEG 具体都能干些什么吧。
录制
1 |
ffmpeg -f avfoundation -list_devices true -i "" |
1 |
ffmpeg -f avfoundation -i 1 -r 30 out.yuv |
- -f 指定使用 avfoundation 采集数据。
- -i 指定从哪儿采集数据,它是一个文件索引号。在我的MAC上,1代表桌面(可以通过上面的命令查询设备索引号)。
- -r 指定帧率。按ffmpeg官方文档说-r与-framerate作用相同,但实际测试时发现不同。-framerate 用于限制输入,而-r用于限制输出。
1 |
ffmpeg -f avfoundation -i 1:0 -r 29.97 -c:v libx264 -crf 0 -c:a libfdk_aac -profile:a aac_he_v2 -b:a 32k out.flv |
- -i 1:0 冒号前面的 “1” 代表的屏幕索引号。冒号后面的”0”代表的声音索相号。
- -c:v 与参数 -vcodec 一样,表示视频编码器。c 是 codec 的缩写,v 是video的缩写。
- -crf 是 x264 的参数。 0 表式无损压缩。
- -c:a 与参数 -acodec 一样,表示音频编码器。
- -profile 是 fdk_aac 的参数。 aac_he_v2 表式使用 AAC_HE v2 压缩数据。
- -b:a 指定音频码率。 b 是 bitrate的缩写, a是 audio的缩与。
1 |
ffmpeg -f x11grab -video_size640*480 -r 20 -i :0.0 test.mp4 |
1 |
ffmpeg -framerate 30 -f avfoundation -i 0 out.mp4 |
1 |
ffmpeg -framerate 30 -f avfoundation -i 0:0 out.mp4 |
1 |
ffmpeg -f avfoundation -i :0 out.wav |
1 |
ffmpeg -f avfoundation -i :0 -ar 44100 -f s16le out.pcm |
1 |
ffmpeg -f dshow -i audio="立体声混音 (Realtek High Definition Audio)" -ar 48000 -acodec aac -bsf:a aac_adtstoasc -f flv temp.flv |
分解与复用
1 |
_______ ______________ ________ |
由于没有解码或编码,速度非常快,没有质量损失。 但是,由于许多因素,在某些情况下可能无法正常工作。 应用过滤器显然也是不可能的,因为过滤器处理未压缩的数据。
1 |
ffmpeg -i input.mp4 -acodec copy -vn out.aac |
1 |
ffmpeg -i input.mp4 -vcodec copy -an out.h264 |
1 |
ffmpeg -i out.mp4 -vcodec copy -acodec copy out.flv |
上面的命令表式的是音频、视频都直接 copy,只是将 mp4 的封装格式转成了flv。
1 |
ffmpeg -i out.h264 -i out.aac -vcodec copy -acodec copy out.mp4 |
处理原始数据
1 |
ffmpeg -i input.mp4 -an -c:v rawvideo -pixel_format yuv420p out.yuv |
1 |
ffmpeg -f rawvideo -pix_format yuv420p -video_size 320x240 -r 30 -i out.yuv -c:v libx264 -f rawvideo out.h264 |
1 |
ffmpeg -i out.mp4 -vn -ar 44100 -ac 2 -f s16le out.pcm |
1 |
ffmpeg -f s16be -ar 8000 -ac 2 -acodec pcm_s16be -i input.raw output.wav |
滤镜
在编码之前,ffmpeg可以使用libavfilter库中的过滤器处理原始音频和视频帧。 几个链式过滤器形成一个过滤器图形。 ffmpeg区分两种类型的过滤器图形:简单和复杂。
简单滤镜
简单的过滤器图是那些只有一个输入和输出,都是相同的类型。 在上面的图中,它们可以通过在解码和编码之间插入一个额外的步骤来表示:
1 |
_________ ______________ |
简单的filtergraphs配置了per-stream-filter选项(分别为视频和音频使用-vf和-af别名)。 一个简单的视频filtergraph可以看起来像这样的例子:
1 |
_______ _____________ _______ ________ |
请注意,某些滤镜会更改帧属性,但不会改变帧内容。 例如。 上例中的fps过滤器会改变帧数,但不会触及帧内容。 另一个例子是setpts过滤器,它只设置时间戳,否则不改变帧。
复杂滤镜
复杂的过滤器图是那些不能简单描述为应用于一个流的线性处理链的过滤器图。 例如,当图形有多个输入和/或输出,或者当输出流类型与输入不同时,就是这种情况。 他们可以用下图来表示:
1 |
_________ |
复杂的过滤器图使用-filter_complex选项进行配置。 请注意,此选项是全局性的,因为复杂的过滤器图形本质上不能与单个流或文件明确关联。
一个复杂的过滤器图的一个简单的例子是覆盖过滤器,它有两个视频输入和一个视频输出,包含一个视频叠加在另一个上面。 它的音频对应是amix滤波器。
1 |
ffmpeg -i out.mp4 -vf "movie=logo.png,scale=64:48[watermask];[in][watermask] overlay=30:10 [out]" water.mp4 |
删除水印
先通过 ffplay 找到要删除 LOGO 的位置
1 |
ffplay -i test.flv -vf delogo=x=806:y=20:w=70:h=80:show=1 |
1 |
ffmpeg -i test.flv -vf delogo=x=806:y=20:w=70:h=80 output.flv |
1 |
ffmpeg -i out.mp4 -vf scale=iw/2:-1 scale.mp4 |
1 |
ffmpeg -i VR.mov -vf crop=in_w-200:in_h-200 -c:v libx264 -c:a copy -video_size 1280x720 vr_new.mp4 |
1 |
ffmpeg -i out.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" speed2.0.mp4 |
- -filter_complex 复杂滤镜,[0:v]表示第一个(文件索引号是0)文件的视频作为输入。setpts=0.5*PTS表示每帧视频的pts时间戳都乘0.5 ,也就是差少一半。[v]表示输出的别名。音频同理就不详述了。
- map 可用于处理复杂输出,如可以将指定的多路流输出到一个输出文件,也可以指定输出到多个文件。”[v]” 复杂滤镜输出的别名作为输出文件的一路流。上面 map的用法是将复杂滤镜输出的视频和音频输出到指定文件中。
1 |
ffmpeg -i out.mp4 -filter_complex "[0:v]pad=w=2*iw[a];[0:v]hflip[b];[a][b]overlay=x=w" duicheng.mp4 |
1 |
ffmpeg -i out.mp4 -i out1.mp4 -filter_complex "[1:v]scale=w=176:h=144:force_original_aspect_ratio=decrease[ckout];[0:v][ckout]overlay=x=W-w-10:y=0[out]" -map "[out]" -movflags faststart new.mp4 |
1 |
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0" |
1 |
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0" -r 30 -c:v libx264 -preset ultrafast -c:a libfdk_aac -profile:a aac_he_v2 -ar 44100 -ac 2 -filter_complex "[0:v]scale=320:240[a];[a]pad=640:240[b];[b][1:v]overlay=320:0[out]" -map "[out]" -movflags faststart -map 1:a c.mp4 |
1 |
ffmpeg -i killer.mp4 -filter_complex "movie=./logo/daka.png,scale=64:48[w];[0:v]curves=vintage[o];[o][w]overlay=30:10[out]" -map "[out]" -map 0:a test1.mp4 |
1 |
ffmpeg -i killer.mp4 -vf "select=not(mod(n\,250)),scale=320:240,tile=2x3" -an out%3d.png |
一些比较有意思的滤镜
-
1
crop=iw/2:ih:0:0,split[left][tmp];[tmp]hflip[right];
-
1
curves=vintage;
-
1
vignette=PI/4
-
1
colorlevels=rimin=0.058:gimin=0.058:bimin=0.058
-
1
fftfilt=dc_Y=0:weight_Y='exp(-4 * ((Y+X)/(W+H)))
-
1
hqdn3d=luma_spatial=15.0
-
1
curves=strong_contrast
-
1
curves=lighter
-
1
fftfilt=dc_Y=0:weight_Y='1+squish(1-(Y+X)/100)'
-
1
fftfilt=dc_Y=0:weight_Y='squish((Y+X)/100-1)'
-
1
fftfilt=dc_Y=128:weight_Y='squish(1-(Y+X)/100)'
-
1
curves=vintage
-
1
edgedetect
-
1
negate
-
1
curves = ‘none’‘color_negative’
音视频的拼接与裁剪
1 |
ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out1.mp4 |
1 |
file '1.flv' |
1 |
ffmpeg -f concat -i inputs.txt -c copy output.flv |
1 |
ffmpeg -i text.mp3 -i silenceall.mp3 -filter_complex '[0:0] [1:0] concat=n=2:v=0:a=1 [a]' -map [a] test.mp3 |
1 |
ffmpeg -i test.mp4 -i test.mp3 -filter_complex "[0:a] [1:a]amerge=inputs=2[aout]" -map "[aout]" -ac 2 mix_amerge.aac |
1 |
ffmpeg -i INPUT1 -i INPUT2 -i INPUT3 -filter_complex 'amix=inputs=3:duration=first:dropout_transition=3' OUTPUT |
- inputs: The number of inputs. If unspecified, it defaults to 2.//输入的数量,如果没有指明,默认为2.
- duration: How to determine the end-of-stream.//决定了流的结束
- longest: The duration of the longest input. (default)//最长输入的持续时间
- shortest: The duration of the shortest input.//最短输入的持续时间
- first: The duration of the first input.//第一个输入的持续时间
- dropout_transition: The transition time, in seconds, for volume renormalization when an input stream ends. The default value is 2 seconds.//输入流结束时(音频)容量重整化的转换时间(以秒为单位)。 默认值为2秒。
1 |
ffmpeg -i out.mp4 -c:v libx264 -c:a libfdk_aac -strict -2 -f hls out.m3u8 |
1 |
ffmpeg -i somefile.ts -f segment -segment_time 3 -c copy out%03d.ts |
视频图片互转
1 |
ffmpeg -i test.flv -r 1 -f image2 image-%3d.jpeg |
1 |
ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out.gif |
1 |
ffmpeg -f image2 -i image-%3d.jpeg images.mp4 |
1 |
ffmpeg -loop 1 -i ./xxx.jpeg -pix_fmt yuv420p -c:v libx264 -preset veryfast -r 25 -t 5 b.mp4 |
直播相关
1 |
ffmpeg -re -i out.mp4 -c copy -f flv rtmp://server/live/streamName |
1 |
ffmpeg -re -i input -f rtsp -muxdelay 0.1 rtsp://server/live.sdp |
1 |
ffmpeg -re -stream_loop 1 -i out.mp4 -c copy -f flv rtmp://server/live/streamName |
1 |
ffmpeg -i rtmp://server/live/streamName -c copy dump.flv |
1 |
ffmpeg -i rtmp://server/live/originalStream -c:a copy -c:v copy -f flv rtmp://server/live/h264Stream |
1 |
ffmpeg -framerate 15 -f avfoundation -i "1" -video_size 1280x720 -c:v libx264 -f flv rtmp://localhost:1935/live/room |
ffplay
1 |
ffplay -pix_fmt nv12 -video_size 192x144 1.yuv |
1 |
ffplay -pix_fmt nv21 -video_size 640x480 -vf extractplanes='y' 1.yuv |
查看多媒体文件详细信息
1 |
ffprobe -print_format json -show_streams 多媒体文件 |
1 |
ffprobe -show_frames 多媒体文件 |
1 |
ffprobe -show_packets 多媒体文件 |