• 网站刚刚上线,难免有不足的地方,敬请谅解!欢迎提出宝贵意见!

  •    3年前 (2015-06-11)  专业技术 多媒体 |   1 条评论  172 
    文章评分 0 次,平均分 0.0

    【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

    通过上一篇文章,我们用ffmpeg分离出一个多媒体容器中的音视频数据,但是很可能这些数据是不能被正确解码的。为什么呢?因为在解码这些数据之前,需要对解码器做一些配置,典型的就是目前流行的高清编码“黄金搭档”组合H264 + AAC的搭配。本文将讲述H264和AAC的关键解码配置参数的解析,如果没有这些配置信息,数据帧往往不完整,导致了解码器不能解码。

    • H264的配置信息解析

      前面我们知道,ffmpeg的avformat_find_stream_info函数可以取得音视频媒体多种,比如播放持续时间、音视频压缩格式、音轨信息、字幕信息、帧率、采样率等。在信息结果中有一项扩展数据描述(avcodec.h文件中):

    【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

              AVCodecContext定义如下:

    【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

        如果视频流是H264,这个extradate里面就包含了H264的配置信息,这个扩展数据有如下定义:

    【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

        详细解释可以参考“ISO-14496-15 AVC file format文档。里面最重要的就是NAL长度和SPS,PPS数据和对应的长度信息。对该数据的解析在ffmpeg里面有现成的函数:ff_h264_decode_extradata,在我的项目里面是自己写的扩展数据解析。

    • AAC的配置信息解析及设置

      如果音频数据是AAC流,在解码时需要ADTS(Audio Data Transport Stream)头部,不管是容器封装还是流媒体,没有这个,一般都是不能播放的。很多朋友在做AAC流播放时遇到播不出声音,很可能就是这个原因导致。

      ADTS所需的数据仍然是放在上面的扩展数据extradata中,我们需要先解码这个扩展数据,然后再从解码后的数据信息里面重新封装成ADTS头信息,加到每一帧AAC数据之前再送解码器,这样就可以正常解码了。

      extradate数据定义如下:

    【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

    详细信息及说明请参考“ISO-IEC-14496-3 (Audio)”的AudioSpecificConfig部分。里面最重要的部分有采样频率、通道配置和音频对象类型,这几个一般都是AAC解码器需要的配置参数。

        这个数据在ffmpeg中也有相应的解码函数:avpriv_aac_parse_header。在我的项目中,我没有使用这个函数,而是自己实现的:

    typedef struct

    {

    int write_adts;

    int objecttype;

    int sample_rate_index;

    int channel_conf;

    }ADTSContext;

    int aac_decode_extradata(ADTSContext *adts, unsigned char *pbuf, int bufsize)

    {

    int aot, aotext, samfreindex;

    int i, channelconfig;

    unsigned char *p = pbuf;

     

    if (!adts || !pbuf || bufsize<2)

    {

    return -1;

    }

    aot = (p[0]>>3)&0x1f;

    if (aot == 31)

    {

    aotext = (p[0]<<3 | (p[1]>>5))&0x3f;

    aot = 32 + aotext;

    samfreindex = (p[1]>>1)&0x0f;

     

    if (samfreindex == 0x0f)

    {

    channelconfig = ((p[4]<<3)|(p[5]>>5))&0x0f;

    }

    else

    {

    channelconfig = ((p[1]<<3)|(p[2]>>5))&0x0f;

    }

    }

    else

    {

    samfreindex = ((p[0]<<1)|p[1]>>7)&0x0f;

    if (samfreindex == 0x0f)

    {

    channelconfig = (p[4]>>3)&0x0f;

    }

    else

    {

    channelconfig = (p[1]>>3)&0x0f;

    }

    }

     

    #ifdef AOT_PROFILE_CTRL

    if (aot < 2) aot = 2;

    #endif

    adts->objecttype = aot-1;

    adts->sample_rate_index = samfreindex;

    adts->channel_conf = channelconfig;

    adts->write_adts = 1;

     

    return 0;

    }

    上面的pbuf就是extradata。 接下来,再用ADTSContext数据编码为ADTS头信息插入每一个AAC帧前面:

    int aac_set_adts_head(ADTSContext *acfg, unsigned char *buf, int size)

    {

    unsigned char byte;

     

    if (size < ADTS_HEADER_SIZE)

    {

    return -1;

    }

     

    buf[0] = 0xff;

    buf[1] = 0xf1;

    byte = 0;

    byte |= (acfg->objecttype&0x03)<<6;

    byte |= (acfg->sample_rate_index&0x0f)<<2;

    byte |= (acfg->channel_conf&0x07) >> 2;

    buf[2] = byte;

    byte = 0;

    byte |= (acfg->channel_conf&0x07) <<6;

    byte |= (ADTS_HEADER_SIZE + size)>>11;

    buf[3] = byte;

    byte = 0;

    byte |= (ADTS_HEADER_SIZE + size)>>3;

    buf[4] = byte;

    byte = 0;

    byte |= ((ADTS_HEADER_SIZE + size)&0x7)<<5;

    byte |= (0x7ff >>6)&0x1f;

    buf[5] = byte;

    byte = 0;

    byte |= (0x7ff&0x3f)<<2;

    buf[6] = byte;

     

    return 0;

    }

    这个头部是固定的7字节长度,所以可提前空出这7个字节供ADTS占用。 通过以上对H264和AAC的扩展数据处理,播放各种“黄金搭档”的多媒体文件、流媒体、视频点播等都应该没有问题了。   想第一时间获得更多原创文章,请关注个人微信公众平台:程序员互动联盟(coder_online),扫一扫下方二维码或者搜索微信号coder_online即可关注,里面有大量Android,Chromium,Linux等相关文章等着您,我们还可以在线交流。 【多媒体】FFMPEG应用系列第三篇: H264、AAC扩展数据处理

     

     

    本文原始地址:http://www.coderonline.net/multimedia-ffmpeg-application-series-third-h264-aac-expanded-data-processing.html

    本站所有文章,除特别注明外,均为本站原创,转载请注明出处来自http://www.coderonline.net/

    关于

    发表评论

    表情 格式
    1. 小彼得自豪地对他的朋友说:“我叔叔是神父,所有的人都称他尊敬的神父。”小保罗说:“我叔叔是主教,谁跟他说话都称他阁下。”小拉克乌斯不服气了:“这有什么了不起的。我叔叔体重150公斤,所有的人见了他都喊道:噢!我的上帝! ”

      http://yougokids.com 评论达人 LV.1 2年前 (2016-11-03) [0] [0]
    切换注册

    登录

    忘记密码 ?

    切换登录

    注册