using multiprocessing

using multiprocessing

def xml2db(file):

    s=pq(open(file,"r").read())

    dict={}

    for field in g_fields:

        dict[field]=s("field[@name='%s']"%field).text()

    p=Product()

    for k,v in dict.iteritems():

        if v is None or v.strip()=="":

            pass

        else:

            if hasattr(p,k):

                setattr(p,k,v)

    session.commit()

@cost_time

@statistics_db

def batch_xml2db():

    from multiprocessing import Pool,Queue

    p=Pool(5)

    #q=Queue()

    files=glob.glob(g_filter)

    #for file in files:

    #    q.put(file)

    def P():

        while q.qsize()<>0:

            xml2db(q.get())

    p.map(xml2db,files)

    p.join()

        

查看更多关于using multiprocessing的详细内容...

声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://haodehen.cn/did43806