走进5G时代的音视频开发

摘要:北京时间20191208关于【走进5G时代的音视频开发】的具体情况和说明,让www.bios6795.cn新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

视频的播放流程

色彩空间

RBG:采用R、G、B相加混色的原理,通过发射出三种不同强度的电子束,使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生色彩。这种色彩的表示方法称为RGB色彩空间表示.

编解码介绍

视频编码的主要作用是将视频像素数据(RGB等)压缩成为视频码流,从而降低视频的数据量。如果视频不经过压缩编码的话,体积通常是非常大的,一部电影可能就要上百G的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在同等的码率下,可以获得更高的视频质量。

举个直播上的栗子:我们知道从 CCD 采集到的图像格式一般的 RGB 格式的(BMP),这种格式的存储空间非常大,它是用三个字节描述一个像素的颜色值,如果是 1080P 分辨率的图像空间:1920 x 1080 x 3 = 6MB,就算转换成 JPG 也有近 200KB,如果是每秒 12 帧用 JPG 也需要近 2.4MB/S 的带宽,这带宽在公网上传输是无法接受的。

视频编码器就是为了解决这个问题的,它会根据前后图像的变化做运动检测,通过各种压缩把变化的发送到对方,1080P 进行过 H.264 编码后带宽也就在 200KB/S ~ 300KB/S 左右。

我们平时所看到的视频,理论上就是一帧帧的图片连续的播放,形成动画效果。那么完整的保存所有图片,所占用的空间是非常巨大的。视频编码就是为了压缩这些图片,以节省空间。我先讲一下简单的理论,比如一秒钟的视频通常有24帧,这24张图画大部分区域可能都比较相近,那么我们是不是可以找到一种方法,只保存一张完整图片(我们称为关键帧),不保存其他图片,只保存和这个完整图片的不同(通过某种数学建模表达),这样就会节省很多空间,在播放的时候,通过和关键帧与每一帧的不同逆向恢复成一张完整的图片,这样就得到了24张完整的图片。(这里只是举例,实际应用中并不一定是每24帧图像被设定一个关键帧)。OK,那么所谓编码格式就指的一种压缩视频图像的算法。

H.264编码介绍

H.264是新一代的编码标准,以高压缩高质量和支持多种网络的流媒体传输著称,在编码方面,它的理论依据是:一段时间内图像的统计结果表明,在相邻几幅图像画面中,一般有差别的像素只有10%以内的点,亮度差值变化不超过2%,而色度差值的变化只有1%以内。所以对于一段变化不大的图像画面,我们可以先编码出一个完整的图像帧A,随后的B帧不编码全部图像,只写入与A帧的差别,这样B帧的大小就只有完整帧的1/10或更小!B帧之后的C帧如果变化不大,我们可以继续以参考B的方式编码C帧,这样循环下去。这段图像我们称为一个序列,当某个图像与之前的图像变化很大,无法参考前面的帧来生成,那我们就结束上一个序列,开始下一段序列。

I 帧是内部编码帧(也称为关键帧),P 帧是前向预测帧(前向参考帧),B 帧是双向内插帧(双向参考帧)。简单地讲,I 帧是一个完整的画面,而 P 帧和 B 帧记录的是相对于 I 帧的变化。

视频的实时传输(直播)

视频直播技术,就是将视频内容的最小颗粒 ( I / P / B 帧,…),基于时间序列,以高速进行传送的一种技术。

简而言之,直播就是将每一帧数据 ( Video / Audio / Data Frame ),打上时序标签 ( Timestamp ) 后进行流式传输的过程。发送端源源不断的采集音视频数据,经过编码、封包、推流,再经过中继分发网络进行扩散传播,播放端再源源不断地下载数据并按时序进行解码播放。如此就实现了 “边生产、边传输、边消费” 的直播过程。

流媒体协议

RTSP协议

该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP提供了一个可扩展框架,使实时数据,如音频与视频的受控、点播成为可能。数据源包括现场数据与存储在剪辑中的数据。该协议目的在于控制多个数据发送连接,为选择发送通道,如UDP、多播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。

RTMP协议

RTMP是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据实时传输开发的开放协议,因为是开放协议所以都可以使用。

RTMP协议用于对象、视频、音频的传输,这个协议建立在TCP协议或者轮询HTTP协议之上。

RTMP协议就像一个用来装数据包的容器,这些数据可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的。

HLS协议

HTTP Live Streaming(HLS)是苹果公司(Apple Inc.)实现基于HTTP的流媒体传输协议,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件。可实现流媒体的直播和点播,主要应用在iOS系统,为iOS设备(如iPhone、iPad)提供音视频直播和点播方案。HLS点播,基本上就是常见的分段HTTP点播,不同在于,它的分段非常小。

相对于常见的流媒体直播协议,例如RTMP协议、RTSP协议、MMS协议等,HLS直播最大的不同在于,直播客户端获取到的,并不是一个完整的数据流。HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件(MPEG-TS格式),而客户端则不断的下载并播放这些小文件,因为服务器端总是会将最新的直播数据生成新的小文件,这样客户端只要不停的按顺序播放从服务器获取到的文件,就实现了直播。由此可见,基本上可以认为,HLS是以点播的技术方式来实现直播。由于数据通过HTTP协议传输,所以完全不用考虑防火墙或者代理的问题,而且分段文件的时长很短,客户端可以很快的选择和切换码率,以适应不同带宽条件下的播放。不过HLS的这种技术特点,决定了它的延迟一般总是会高于普通的流媒体直播协议。

协议间的比较:

协议比较part1

协议比较part2

FFmpeg

FFmpeg的名称来自MPEG视频编码标准,前面的“FF”代表“Fast Forward”,FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。可以轻易地实现多种视频格式之间的相互转换。

FFmpeg函数库介绍

libavutil:简化编程的工具函数库,包括随机数生成器,数据结构,数学函数,多媒体核心工具函数等等。

libavcodec:包含音视频编解码的库。

libavformat:包含复用,解复用(封装格式处理)多媒体容器的库。

libavdevice:包含输入/输出设备的库,它能从一些通用的软件框架中抓取数据,也能将多媒体数据送到一些通用软件框架中去渲染。这些通用软件框架包括:Video4Linux,Video4Linux2,VfW以及ALSA等。

libavfilter:滤镜特效处理。

libswscale:用于执行高性能的图像缩放,颜色空间或像素格式转换的库。


查看更多

实时推荐

LV设计师给洽洽设计年货包装?这怕是连瓜子都吃不起了?
推荐 日本黄片 2020-01-20 17:50 886 2975
宣威用好身边“活教材”提升警示教育效果
推荐 日本黄片 2020-01-20 17:50 362 9092
铁路知识进社区 新春祝福进万家
推荐 日本黄片 2020-01-20 17:50 483 4634
新春送暖 迎新送福
推荐 日本黄片 2020-01-20 17:50 217 7547
蒜薹价格破“3”太贵!均为外地菜,喜欢吃的成都人不妨等一等
推荐 日本黄片 2020-01-20 17:50 655 6407
LOLS10香炉时光皎月怎么玩 S10香炉时光皎月玩法攻略
推荐 日本黄片 2020-01-20 17:50 967 7703
北塬镇多措并举全力做好春节期间安全生产工作
推荐 日本黄片 2020-01-20 17:50 327 2040
特斯拉全新入门款比Model 3更便宜,设计产生都在中国
推荐 日本黄片 2020-01-20 17:50 742 549
湖南省军区组织三级联动战备演练
推荐 日本黄片 2020-01-20 17:50 470 5038
崩坏3跃龙崖木牌挑战怎么完成 跃龙崖的木牌挑战完成条件
推荐 日本黄片 2020-01-20 17:50 156 8117
春运前十天:阿尔山机场保障旅客3421人
推荐 日本黄片 2020-01-20 17:50 201 1930
魔兽世界8.3PVP什么职业强势 PVP强势职业汇总推荐
推荐 日本黄片 2020-01-20 17:50 276 9679
剑与远征高阶竞技场亡灵阵容搭配攻略 大竞技场比较好用的阵容推荐
推荐 日本黄片 2020-01-20 17:50 502 8157
云顶之弈10.1沙皇守护怎么玩 10.1沙皇守护打法技巧教学
推荐 日本黄片 2020-01-20 17:50 856 7747
目前最适合学生入手的手机,vivo垫底,华为第二,第一最佳选择
推荐 日本黄片 2020-01-20 17:50 447 5539
“镇沅县农民工服务初心驿站”为农民工开启幸福之门
推荐 日本黄片 2020-01-20 17:50 843 4334
部落与弯刀无名剑主技能加点攻略 无名剑主技能加点推荐
推荐 日本黄片 2020-01-20 17:50 717 6165
“牵手环卫工人 共享新年暖阳”新城区网络微公益进行时……
推荐 日本黄片 2020-01-20 17:50 120 5513
“老百姓吃得放心,我们才能安心过年”——达拉特旗检察院履职尽责切实保障节日期间老百姓舌尖上的安全
推荐 日本黄片 2020-01-20 17:50 145 6626
手机续航差?看看是哪些原因让智能手机成耗电大户
推荐 日本黄片 2020-01-20 17:50 658 7719
内蒙古司法厅慰问河西社区老党员及困难群众
推荐 日本黄片 2020-01-20 17:50 601 2881
新春走基层|过年回家路 满满思乡情
推荐 日本黄片 2020-01-20 17:50 314 9834
A股收盘:创业板指创3年新高 国轩高科涨停 回应与大众汽车合作传闻
推荐 日本黄片 2020-01-20 17:50 183 2673
养肝就是在养命,这几种食物每天吃一点,排除肝毒一身轻
推荐 日本黄片 2020-01-20 17:50 166 5681
李明检察长节前走访慰问离退休老干部
推荐 日本黄片 2020-01-20 17:50 197 6302
关爱残疾人 冬日送暖阳
推荐 日本黄片 2020-01-20 17:50 910 5445
2019“北京榜样·最美警察”揭晓仪式将在北京卫视播出
推荐 日本黄片 2020-01-20 17:50 796 7077
福州台江区邀请书法家为民义务写春联
推荐 日本黄片 2020-01-20 17:50 300 4792
江安县政府副县长曾广慰问教体系统干部职工
推荐 日本黄片 2020-01-20 17:50 705 8110
游戏里过中国年《镇魔曲》春节活动新年首发
推荐 日本黄片 2020-01-20 17:50 491 3714
爵士重磅签约!库里终于要回来了,莺哥赶上杜兰特,小卡再创纪录
推荐 日本黄片 2020-01-20 17:50 949 7741
晋中老字号亮相京津冀经贸交流会
推荐 日本黄片 2020-01-20 17:50 114 5436
鼠年“数你最棒”
推荐 日本黄片 2020-01-20 17:50 794 9203
鄂伦春旗节前送“廉礼”进社区
推荐 日本黄片 2020-01-20 17:50 402 2287
「齐齐哈尔关注」齐齐哈尔工程学院举办辅导员迎新春嘉年华活动
推荐 日本黄片 2020-01-20 17:50 97 6802
晋中市启动两节期间市场专项检查
推荐 日本黄片 2020-01-20 17:50 462 1849
「十堰」市民航局深入扶贫村开展春节走访慰问活动
推荐 日本黄片 2020-01-20 17:50 992 793
莲花山绽放的青春——长春莲花山实业集团举行年度总结表彰和迎春联欢会
推荐 日本黄片 2020-01-20 17:50 718 8138
伊洛纳旅团贡献怎么快速提升?旅团贡献的提升攻略推荐
推荐 日本黄片 2020-01-20 17:50 825 6844
全省水利工作视频会议在哈尔滨召开
推荐 日本黄片 2020-01-20 17:50 586 6833
云顶之弈月蚀极地阵容怎么玩 10.1月蚀极地阵容搭配思路教学
推荐 日本黄片 2020-01-20 17:50 180 2440
区军人之家发放困难帮扶资金24万元
推荐 日本黄片 2020-01-20 17:50 531 5248
如龙7boss战阵容搭配什么比较好 如龙7boss战阵容搭配推荐
推荐 日本黄片 2020-01-20 17:50 138 2625
《DNF》使徒指定召唤券怎么获取 使徒指定召唤券获取攻略
推荐 日本黄片 2020-01-20 17:50 771 1241
快手上的“四大”网红!辛有志仅排名第三
推荐 日本黄片 2020-01-20 17:50 820 7536
原创 在场上都能轮休?美媒揭露詹皇出勤率95%真因,两数据联盟倒数前4
推荐 日本黄片 2020-01-20 17:50 747 6323
原创 《雍正王朝》:刘王氏长相一般般,李卫为何却说“可惜了了”?
推荐 日本黄片 2020-01-20 17:50 356 5703
男子醉酒驾驶被处罚,仙居大路中队交警却为其家人捐款,温情让人感动
推荐 日本黄片 2020-01-20 17:50 933 6535
湾区黄金(01194)委任黄志伟为执董及执行委员会成员
推荐 日本黄片 2020-01-20 17:49 886 6044
中国邮政储蓄银行平顶山市分行组织召开2020年法律与内控合规管理工作会议
推荐 日本黄片 2020-01-20 17:49 698 2427
中信银行新乡分行开展送福进万家活动
推荐 日本黄片 2020-01-20 17:49 982 1708
双骄互不相让!C罗刚追平梅西的一项纪录,梅西随即又反超
推荐 日本黄片 2020-01-20 17:49 763 3361
美国男子与前妻打官司,请法院举行比武审判,称要撕碎对方灵魂
推荐 日本黄片 2020-01-20 17:49 491 2310
华为值得选择的5款手机,华为P30Pro强势上线!
推荐 日本黄片 2020-01-20 17:49 591 1691
保障春运出行 高速执法自制安全行车漫画手册
推荐 日本黄片 2020-01-20 17:49 788 2498
CCTV贺岁杯围棋赛 柯洁朴廷桓芝野虎丸出战 今日直播预告
推荐 日本黄片 2020-01-20 17:49 726 9349
庆安县公安局纪检书记刘波节前到基层单位督导检查工作
推荐 日本黄片 2020-01-20 17:49 850 6592
澳网次日看点:纳达尔莎拉波娃冲击次轮 王蔷彭帅王雅繁迎补赛
推荐 日本黄片 2020-01-20 17:49 279 5099
Galaxy S20 系列即将问鼎新一代机皇,但大招却不止于此
推荐 日本黄片 2020-01-20 17:49 181 8672
高场镇:走访贫困户,慰问暖人心
推荐 日本黄片 2020-01-20 17:49 709 1330
生死时速!古稀乘客突发疾病,公交车“变身”救护车
推荐 日本黄片 2020-01-20 17:49 257 2629
如何培养孩子独立,父母是孩子很好的榜样,教你轻松带娃
推荐 日本黄片 2020-01-20 17:49 790 6793
不爱喝白水,每天只喝咖啡或者啤酒,身体会出现什么样的状况呢
推荐 日本黄片 2020-01-20 17:49 465 2787
为什么大棚丝瓜经土壤消毒后,反而出现根系不良,开花晚的问题
推荐 日本黄片 2020-01-20 17:49 101 3267
年味美食推荐,经济实惠,做法简单营养好
推荐 日本黄片 2020-01-20 17:49 587 6300
一男子见交警查车竟打开车门撒腿就跑?这是什么情况?
推荐 日本黄片 2020-01-20 17:49 350 7420
哈里王子变哈里,梅根王妃变梅根,出走后可自由赚大钱无约束
推荐 日本黄片 2020-01-20 17:49 789 7214
【西楚平安1号行动】沭阳公安开展节前安全检查
推荐 日本黄片 2020-01-20 17:49 523 4080
【七进宣传】右玉交警宣传进家庭 安全教育零距离
推荐 日本黄片 2020-01-20 17:49 885 9851
900马力巴博斯大G,3.9秒速度破百,全球限量十台,售价超过兰博基尼
推荐 日本黄片 2020-01-20 17:49 417 9099
蒲城县紫荆街道黄家村开展2020年新春慰问活动
推荐 日本黄片 2020-01-20 17:49 387 7230
【医疗技术】甘州区人民医院消化内科镜下诊疗水平迈上新台阶
推荐 日本黄片 2020-01-20 17:49 835 3972
白酒最怕的解药,不是浓茶,而是毫不起眼的“它”!
推荐 日本黄片 2020-01-20 17:49 515 1820
虫虫世界的诗意栖居与科学之思
推荐 日本黄片 2020-01-20 17:49 214 6478
集邦咨询成立20年!未来将运用新科技进一步扩大知识经济力量
推荐 日本黄片 2020-01-20 17:49 536 4415
江西金溪:年货丰,年味浓
推荐 日本黄片 2020-01-20 17:49 787 7586
高考只差5分,命运就此改变,明明是双胞胎却活在“两个世界”
推荐 日本黄片 2020-01-20 17:49 251 8231
谢胜到临湘市羊楼司镇走访慰问困难党员和贫困户
推荐 日本黄片 2020-01-20 17:49 707 3109
呼和浩特市农畜产品质量安全中心工作人员来赛罕区开展无公害农产品基
推荐 日本黄片 2020-01-20 17:49 599 8653
大和:相信世茂房地产(00813)在今明两年持续跑赢同行 维持“买入”评级
推荐 日本黄片 2020-01-20 17:49 658 4861
高台县安委会第一次全体(扩大)会议暨全县应急管理防灾减灾救灾工作会议召开
推荐 日本黄片 2020-01-20 17:49 140 5756
好人365丨脱下军装,我还是个兵!
推荐 日本黄片 2020-01-20 17:49 851 2321
辟谣丨豆腐+菠菜=结石?痛风不能吃菠菜?营养师权威解答
推荐 日本黄片 2020-01-20 17:49 457 2082
@淮北人田园糯米豆腐酿做法
推荐 日本黄片 2020-01-20 17:49 444 2851
守底线追高线 交出新时代药品监管精彩答卷
推荐 日本黄片 2020-01-20 17:49 629 5602
如何才能成为一名优秀的酿酒师
推荐 日本黄片 2020-01-20 17:49 987 1695
花旗:维持九兴(01836)“买入”评级 上调目标价至17.5港元
推荐 日本黄片 2020-01-20 17:49 288 4723
金茂酒店2019年度累计入住率升至78.3%
推荐 日本黄片 2020-01-20 17:49 696 9313
黄伟雄带队督战平江县伍市工业区产业项目建设工作
推荐 日本黄片 2020-01-20 17:49 583 1964
偏爱50:50完美配重比的不止宝马,这款30万的豪华车也很极客
推荐 日本黄片 2020-01-20 17:49 907 2850
女人过了40岁,常吃这些碱性食物,补充胶原蛋白美容又养颜
推荐 日本黄片 2020-01-20 17:49 601 668
槟榔谷部署备战春节黄金周 确保节日安全稳定有序
推荐 日本黄片 2020-01-20 17:49 875 5526
愤怒的公牛,Prior Design兰博基尼URUS套件极具杀伤力
推荐 日本黄片 2020-01-20 17:49 581 3661
哪些保险可以赔付新型冠状病毒肺炎?听听专家怎么说
推荐 日本黄片 2020-01-20 17:49 739 9559
最新研究揭示玻璃结构的丰富可调控性
推荐 日本黄片 2020-01-20 17:49 135 6372
NBA深度观察:莫兰特前途无量,快船赢在当下
推荐 日本黄片 2020-01-20 17:49 111 1383
洛阳餐旅实业2019年度工作总结表彰大会隆重举行
推荐 日本黄片 2020-01-20 17:49 794 6765
安徽自然资源厅通报2019年工作 守红线 严监管 提效能
推荐 日本黄片 2020-01-20 17:49 358 7894
原创 ‭ 父母的心理状态会对小耳畸形患儿产生巨大的影响
推荐 日本黄片 2020-01-20 17:49 756 888
夫妻街头起争执,被丈夫喷射燃油并试图点燃,妻子却不愿控告他
推荐 日本黄片 2020-01-20 17:49 350 1555