二、实现并行流水线

王朝学院·作者佚名  2016-08-28
窄屏简体版  字體: 小  |  中  |  大  |  超大  

本文介绍如何使用C#实现并行执行的流水线(生产者消费者):

流水线示意图实现并行流水线

一、流水线示意图[flash=500,400]http://s1.knowsky.com/20160211/vbfowk0j23n01.png[/flash]

上图演示了流水线,action1接收input,然后产生结果保存在buffer1中,action2读取buffer1中由action1产生的数据,以此类推指导action4完成产生Output。

以上也是典型的生产者消费者模式。

上面的模式如果使用普通常规的串行执行是很简单的,按部就班按照流程图一步一步执行即可。如果为了提高效率,想使用并行执行,也就是说生产者和消费者同时并行执行,该怎么办么?

二、实现并行流水线2.1 代码classPiplelineDemo

{PRivateintseed;publicPiplelineDemo()

{

seed=10;

}publicvoidAction1(BlockingCollection<string>output)

{try{for(vari =0; i < seed; i++)

{

output.Add(i.ToString());//initialize data to buffer1}

}finally{

output.CompleteAdding();

}

}publicvoidAction2(BlockingCollection<string> input, BlockingCollection<string>output)

{try{foreach(varitemininput.GetConsumingEnumerable())

{varitemToInt =int.Parse(item);

output.Add((itemToInt* itemToInt).ToString());// add new data to buffer2}

}finally{

output.CompleteAdding();

}

}publicvoidAction3(BlockingCollection<string> input, BlockingCollection<string>output)

{try{foreach(varitemininput.GetConsumingEnumerable())

{

output.Add(item);//set data into buffer3}

}finally{

output.CompleteAdding();

}

}publicvoidPipeline()

{varbuffer1 =newBlockingCollection<string>(seed);varbuffer2 =newBlockingCollection<string>(seed);varbuffer3 =newBlockingCollection<string>(seed);vartaskFactory =newTaskFactory(TaskCreationOptions.LongRunning, TaskContinuationOptions.None);varstage1 = taskFactory.StartNew(() =>Action1(buffer1));varstage2 = taskFactory.StartNew(() =>Action2(buffer1, buffer2));varstage3 = taskFactory.StartNew(() =>Action3(buffer2, buffer3));

Task.WaitAll(stage1, stage2, stage3);foreach(variteminbuffer3.GetConsumingEnumerable())//print data in buffer3{

Console.WriteLine(item);

}

}

}classProgram

{staticvoidMain(string[] args)

{newPiplelineDemo().Pipeline();

Console.Read();

}

}

2.2 运行结果[flash=500,400]http://s1.knowsky.com/20160211/vrn3zm0kitn01.png[/flash]

预期打印出了0-9自我相乘的结果。

2.3 代码解释代码本身的逻辑和本文开始的流程图是一一对应的。

BlockingCollection<T>是.Net里面的一个线程安全集合。实现了IProducerConsumerCollection<T>.

Add方法:将元素加入集合CompleteAdding方法:告诉消费者,在当调用该方法之前的元素处理完之后就不要再等待处理了,可以结束处理了。这个非常重要,一定要执行,所以放在finally中(就算exception也要执行)GetConsumingEnumberable,给消费者返回一个可以便利的集合GetConsumingEnumberable是一个非常强大的东东,专门写一片文章介绍介绍。

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航