至顶网›软件频道 ›基础软件›如何构造一个C＃语言的爬虫程序

如何构造一个C＃语言的爬虫程序

扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条

C＃特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。

作者：老痞子来源：老痞子’s blog 2007年11月17日

关键字：

WaitBegin方法将一直等待，直到m_started标记被设置。m_started标记是由WorkerBegin方法设置的。工作线程在开始处理各个URL之时，会调用WorkerBegin;处理结束时调用WorkerEnd。WorkerBegin和WorkerEnd这两个方法帮助Done对象确定当前的工作状态。下面是WorkerBegin方法的代码：

以下是引用片段：
　　public void WorkerBegin()
　　{
　　Monitor.Enter(this);
　　m_activeThreads++;
　　m_started = true;
　　Monitor.Pulse(this);
　　Monitor.Exit(this);
　　}

　　WorkerBegin方法首先增加当前活动线程的数量，接着设置m_started标记，最后调用Pulse方法以通知(可能存在的)等待工作线程启动的线程。如前所述，可能等待Done对象的方法是WaitBegin方法。每处理完一个URL，WorkerEnd方法会被调用：

以下是引用片段：
　　public void WorkerEnd()
　　{
　　Monitor.Enter(this);
　　m_activeThreads--;
　　Monitor.Pulse(this);
　　Monitor.Exit(this);
　　}

　　WorkerEnd方法减小m_activeThreads活动线程计数器，调用Pulse释放可能在等待Done对象的线程--如前所述，可能在等待Done对象的方法是WaitDone方法。

查看本文来源