这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 嵌入式开发 » 软件与操作系统 » 基于VoIP视频语音通话系统构建(一)

共7条 1/1 1 跳转至

基于VoIP视频语音通话系统构建(一)

高工
2023-02-01 14:43:17     打赏


 

第一章 绪论

 

1.1 引言

目前,流媒体技术应用广泛,涉及各个行业如工业监控、安防监控、娱乐行业、远程教育等。在本论文中将详细阐述在电梯安全监控中涉及的行业背景、技术方案、实施过程、检验结果、本地部署等。

本项目应用于电梯联网监控系统中,对于电梯轿厢内部的场景进行有效的实时观察,并进行与轿厢内的人员有效沟通而研发的一套基于VoIP的远程双向通话单向视频的系统。在此环境下达到网络在低速传输情况下保证语音数据优先稳定的传输,视频数据间歇性低帧率、低码率、低带宽的传输、实时存储保存等特性。

目前电梯行业中应用的语音通话分为两种;一种为有线模拟电话方式,通过电话线路铺设链接监控室和各个电梯之间的终端设备进行通信,在此种环境下一旦年久失修或发生工程施工事故极易损坏通信线路,而且在维护、维修方面施工难度也是极大的,需要直接土木工程进行修复,并且通信的双方必须在固定地点,无法适应现代社会的安全需求,比如移动巡逻等,同时也无法达到远程通信的目的;另一种为无线FM或者AM的通信方式,通过在建筑设施楼顶加装无线中转收发站与地面终端进行通信,其很好的解决了由于有线模拟传输线路故障而引起的维修成本高的问题,以及移动巡逻的功能,但无法实现如呼救电话的功能,即在电梯故障发生后可以直接拨打处于不同区域的维保工或物业的电话,进行即时的营救,从而需要人员随时待命,造成人员配置冗余的问题。而本系统一旦接入原有电梯的五方通话系统后即可形成以下优势;首先,消除了原有有线方式布线带来的维护、维修成本;其次,解决了远程通话移动巡逻的需求,解放了物业保安,节省人力资源;再次,确保在电梯发生救援事件之后,有对应的维保工待命;最后,增加了远程视频的功能,让救援、维护人员第一时间不分时空的查看电梯轿厢内部的状态,从而为救援方案提供更多的参考信息。

本项目中应用重要的NAT穿透技术,实现语音P2P模式互传,减少中间服务器压力,降低成本,提高语音传输质量、降低时延;在多人视频模式下采用RTMP传输视频流的模式,让用户可以点播的方式查看摄像头本地视频,做好安全记录,救援记录。目前NAT穿透技术应用广泛,在IPV4的时代下由于IP地址资源有限,所以大量应用于P2P网络传输中,该技术即使应用在IPV6的时代也是很好的技术方案。本项目应用NAT穿透技术中的ICE方式,即STUNTURN技术,即使在锥形路由模式状态下也可以切换至TURN的代理Relay模式继续打洞。

将实时通话技术应用于电梯救援项目中,为电梯安全运行添加一层保障以及另一种通讯手段。

1.2 研究现状及设计目标

目前,在语音网络通信中多采用WEBSOCKET技术进行语音实时传输,该技术需要一个中间服务器进行数据转发,实时性和服务器性能都受到限制;另有采用集成化VoIP,其包括SIP服务器+媒体服务器组成,对于嵌入式系统中要部署此类服务比较困难,由于受到嵌入式系统中的硬件部分性能及资源的限制,大大降低了VoIP的性能的发挥;本项目采用分离式轻量级SIP协议栈+Libnice的形式,达到即可兼容普通VoIP的协议通信、又可降低其本身对硬件的需求,实现语音通话的效果;同时还具备一般性IPC的功能,例如实时视频观看,远程控制视频的采集等。

1.2.1 技术目标

本技术包括VoIP信令交互、NAT穿透、视频流采集转发、语音流采集转发等技术。对于VoIP信息交互采用开源协议栈oSIP,此种协议栈是目前流行的轻量级协议栈,便于C语言项目的嵌入式开发,服务端采用freeswitch进行构建SIP协议服务信令服务器,采用bypass-media模式传输交互SDP  NAT穿透节点信息。

NAT穿透技术采用开源Libnice,此开源项目代码类似于WEBRTC中使用的流媒体穿透技术,使用glib-2.0开发库,能够很好的移植到嵌入式产品上。

视频采集终端应用HI3516EV200的开发平台作为视频音频交互的终端,应用NAT穿透形式(P2P) 进行双向语音交互,应用服务转发模式采集编码为H264、打包为RTMP流包、传入Nginx+librtmp构建的流媒体服务进行转发点播。

1.2.2 经济成本目标

终端硬件采用成熟的摄像头模组,价格在200元左右每台,外壳可以另外加工,在此次设计中不涉及。

云端服务器采用单核+2GB+1Mb带宽参数配置,可同时承载演示两台终端交互,达到开发、调试、作品呈现目的,此服务器是腾讯云计算机99元一年,用于SIP信息交互服务和NAT穿透服务,流媒体服务可根据产品的服务情况构建,本设计中两种构建方式,一种为远端服务构建,另一种为本地服务构建。

1.3 本文章节安排

(1) 第一章为绪论主要为行业背景、技术目标等呈现。

       (2) 第二章为本设计的需求分析,得到项目范围、交付成果、检测标准等。

(3) 第三章为数据结构设计,分别叙述服务端、客户端采用的数据存储、交互的结构形式。

(4) 第四章为本设计的系统分析,根据分析结果选择、制定设计方案。

(5) 第五章为本设计的具体实现,包括服务端、客户端实现采用的方案、步骤的叙述。

(6) 第六章为根据设计的目标、成果、检测标准进行设计的验收检测,进行检测结果的总结。

(7) 第七章为本设计的总结以及展望。

 

效果

http://forum.eepw.com.cn/thread/371678/1


to be continue...




关键词: VoIP     freeswitch     nginx    

高工
2023-02-01 15:23:20     打赏
2楼

帖子还不能太长啊(*……*)


专家
2023-02-01 16:29:28     打赏
3楼

学习了!谢谢分享!


高工
2023-03-07 11:04:49     打赏
4楼

感谢分享


高工
2023-03-15 12:14:37     打赏
5楼

高工
2023-03-15 12:27:18     打赏
6楼

专家
2023-04-02 11:20:53     打赏
7楼

感谢分享


共7条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]