video上传架构设计与实现
video上传架构设计与实现
项目需要做一个关于视频上传的功能。整体的流程就是用户通过页面上传视频，然后后台记录上传信息，转码，播放。其实就是和youku,tudou等ugc视频的功能类似的。
可能存在的瓶颈及解决方法：
1.上传的网络瓶颈。(横向扩展,通过添加nginx即可)
2.后台处理的瓶颈，涉及到截图，调整文件位置等后续操作。返回给前端的消息及时性。(延时消息异步，先给前端返回，再进行后续的操作)
3.高并发。
系统架构:
lvs
nginx nginx nginx nginx
web_server(tornado) web_server(tornado) web_server(tornado) web_server(tornado)
转码系统
架构如上图很简单，lvs后面挂的nginx。
使用nginx的upload module来进行上传功能。
nginx upstream到后端的server。
关于nginx配置如下：
location /video/ {
upload_pass @after_upload;
upload_store /data1/video_temp;
#upload_store_access user:rw;
upload_set_form_field $upload_field_name.name "$upload_file_name";
upload_set_form_field $upload_field_name.content_type "$upload_content_type";
upload_set_form_field $upload_field_name.path "$upload_tmp_path";
#Inform backend about hash and size of a file
upload_aggregate_form_field $upload_field_name.md5 "$upload_file_md5";
upload_aggregate_form_field $upload_field_name.size "$upload_file_size";
upload_pass_form_field "^.*(?!Filedata)$";
#upload_pass_form_field "^.*$";
error_page 405 =200 @after_upload;
#upload_cleanup 400 404 499 500-505;
}
location @after_upload {
proxy_pass http://videoupload_backend;
}
2.后端实现使用tornado，一个异步的非阻塞python webframe。
主ti的流程如下：
1 class Transcode(tornado.web.RequestHandler):
2 @tornado.web.asynchronous
3 def post(self):
4 # tempfile = self.get_argument("Filedata.size")
5 # print "filedata.size is %s" %tempfile
6 # getParameter = self.request.arguments
7 # print "File data size is %s" %getParameter['Filedata.size'][0]
8 # for (k,v) in getParameter.items():
9 # print "dict[%s]=%s" %(k,v)
10 # filename = getParameter['Filedata.name']
11 try :
12 logging.info( ' Begin ###############Get the Post info ' )
13 param = {
14 ' watermark ' :self.get_argument( ' watermark ' ,default= '' ),
15 ' ugc ' :self.get_argument( ' ugc ' ,default= '' ),
16 ' Filedata.path ' :self.get_argument( ' Filedata.path ' ,default= '' ),
17 ' Filedata.name ' :self.get_argument( ' Filedata.name ' ,default= '' ),
18 ' Filedata.content_type ' :self.get_argument( ' Filedata.content_type ' ,default= '' ),
19 ' Filedata.md5 ' :self.get_argument( ' Filedata.md5 ' ,default= '' ),
20 ' Filedata.size ' :self.get_argument( ' Filedata.size ' ,default= '' ),
21 ' enctype ' :self.get_argument( ' enctype ' ,default= '' ),
22 }
23 except Exception, e:
24 logging.error( " Error happens: %s " % str(e))
25 self.finish()
26 return
27
28 # pmovefile.doMoveFile(param['Filedata.path'],param,DEST_PATH,callback=self._on_success)
29
30 movDesPath = pmovefile.doMoveFile(param[ ' Filedata.path ' ],param,DEST_PATH)
31
32 self.HandleSnapShotJPG(param,movDesPath,SNAPSHOT_PATH,succ_callback=self.my_on_sucess,fail_callback= self.my_on_fail)
33
其中异步的操作都是放在返回给前端之前做的。代码太多，就不放上来了。
3.遇到的问题：上传的视频同步的问题。由于前端机器的负载分流，存在截图同步的问题。看youku的做法是直接暴露的ip在外面，应该是用随机用lvs后面的一个ip来进行上传。我们这里还是选择了个域名的方式，然后在后台的nginx之间做了同步。
对rsync的同步效率问题：大视频同步非常慢，是由于比对数据差异引起的，小的数据量很快。由于知道截图的图片地址，自己定义，故使用rsync增量同步的方式。
标签: 架构
当前标签: 架构
video上传架构设计与实现 浪迹天涯cc 2013-03-19 16:46 阅读:538 评论:1
作者： Leo_wl
出处： http://HdhCmsTestcnblogs测试数据/Leo_wl/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
版权信息