SIP会话发起协议是由IETF指定的多媒体通讯协议,用于创建、修改和释放一个或多个参与者的会话。由会话的一端(A-LEG) 发起会话(INVITE) ,由服务器转发至另一端(B-LEG) ,然后(B-LEG) 响应(ANSWER) 至服务器,服务器再次转发给(A-LEG) ,这样互相就建立了链接,同时交互各自所带的SDP(Session Description Protocol 会话描述协议) ,在SDP中包含各自的媒体协议、IP端口、时间同步信息。具体如下图中的通讯描述图2 SIP协议交互。
图2 SIP协议交互
在本次设计中需要设计视频、音频的采集、处理、打包、发送、接收、处理、播放等流程。其中视频是由连续采集的图像按照一定的时间间隔排序组成,图像的原始采集是从CMOS/CCD Sensor 中获取,经过ISP处理后得到一张原始图像,在经过VPSS图像处理模块处理后得出一张数字图像,一般以YUV(其中Y代表的是图像的亮度数据,而UV代表的是图像的色度,起初是从广播电视向数字电视转变中运用的技术,目前已广泛用于数据图像处理中) 格式存储, 然后直接进入到图像压缩编码器(Video Encode) 中进行图像的压缩处理,之所以图像要压缩处理主要有两个重要原因;其一是因为在图像中的主要数据是出现在高频变化部分,并且这部分的数据占所有图像数据的比重较小,因此只要保存好图像的高频部分的数据后即可达到图像在解压后得到较好的画质;其二是因为连续的图像在未经过处理的情况下数据的量是非常之大的,在网络中传输的时候将会占用大部分的带宽,不利于远程传输;最后再将压缩的数据打包后发送给服务器进行后续的转发工作,在客户端即可直接访问远程服务器获取视频数据。在音频数据中由PCM模块进行A/D转换将模拟数据转换成数字数据后,进行简单的压缩处理后打包发送至客户端。