Ⅰ. 介紹 現(xiàn)如今，人們?cè)絹?lái)越多地使用互聯(lián)網(wǎng)與他人進(jìn)行溝通，發(fā)表他/她們的關(guān)于某些話題的看法和表達(dá)他/她們的關(guān)于某些事的怨言（我們把所有這些相關(guān)的話題和人們的觀點(diǎn)叫做網(wǎng)絡(luò)輿情，簡(jiǎn)稱(chēng)IPO）。互聯(lián)網(wǎng)可能會(huì)被攻擊者或敵人用作破壞互聯(lián)網(wǎng)穩(wěn)定和威脅網(wǎng)絡(luò)社會(huì)安全的工具[1]。然而，網(wǎng)絡(luò)輿情可能會(huì)對(duì)真實(shí)世界的社會(huì)安全產(chǎn)生巨大的沖擊[2]。當(dāng)前對(duì)網(wǎng)絡(luò)輿情的研究主要是研究它對(duì)真實(shí)世界的社會(huì)或政府的影響，并且從心理學(xué)或社會(huì)學(xué)的角度分析它的活動(dòng)方式[3]。文本分類(lèi)在大量的信息管理和檢索任務(wù)扮演一個(gè)根本角色。但是網(wǎng)頁(yè)分類(lèi)比純文本分類(lèi)困難在于網(wǎng)頁(yè)中存在著大量的嘈雜信息。網(wǎng)頁(yè)是不同于一般的的文本文檔集合。文本文檔可以被認(rèn)為是一個(gè)詞語(yǔ)的匯集，而網(wǎng)頁(yè)則含有附加的結(jié)構(gòu)信息。 在本文，我們?cè)O(shè)法顯示我們的網(wǎng)絡(luò)輿情分析系統(tǒng)（IPOAS）的模型。 我們的主要工作如下： 1）參考各種各樣的相關(guān)技術(shù)，我們提出一種改進(jìn)的網(wǎng)絡(luò)語(yǔ)請(qǐng)分析模型，它可以更加有效地處理和探求網(wǎng)絡(luò)輿情的特征。 2）在這個(gè)系統(tǒng)中，有二個(gè)重要的核心模塊：信息預(yù)處理模塊和網(wǎng)絡(luò)輿情語(yǔ)義分析模塊。 我們分析了他們的實(shí)現(xiàn)方法。 3） 我們通過(guò)在摘要中應(yīng)用網(wǎng)頁(yè)分類(lèi)法來(lái)提取網(wǎng)頁(yè)中最為相關(guān)的內(nèi)容，然后再將他們傳遞到標(biāo)準(zhǔn)文本分類(lèi)算法（NB或SVM）中。根據(jù)實(shí)驗(yàn)結(jié)果，我們證明了系統(tǒng)結(jié)構(gòu)在系統(tǒng)設(shè)計(jì)中的重要性。 本文的其他部分結(jié)構(gòu)如下。在第2部分，我們將回顧有關(guān)網(wǎng)絡(luò)輿情最新的工作成果和有關(guān)傳統(tǒng)網(wǎng)絡(luò)輿情分析方法的研究，然后將提出我們的IPOAS模型。我們的方法將在第3部分和第4部分詳述。在第5部分，實(shí)驗(yàn)結(jié)果和一些相關(guān)的討論將會(huì)被列出。最后，在第6部分，我們將總結(jié)我們的工作。 Ⅱ. 相關(guān)著作 網(wǎng)絡(luò)輿情是一個(gè)寬泛的題目。從網(wǎng)絡(luò)中獲取情感傾向是一個(gè)困難的語(yǔ)義問(wèn)題。與文本文檔比較，網(wǎng)頁(yè)有一些額外特點(diǎn)，例如HTML標(biāo)簽，URL，超鏈接和錨文本，他們都被證明在獲取情感傾向時(shí)是有用的。最近許多有關(guān)利用這些特性進(jìn)行情感傾向提取的網(wǎng)頁(yè)摘要研究[4,5]都完成了。 Dou[4]指出用于在網(wǎng)頁(yè)分類(lèi)中預(yù)處理的網(wǎng)絡(luò)摘要技術(shù)是一個(gè)可行的且有效的技術(shù)。證據(jù)顯示考慮到上下文信息的摘要比僅僅從目標(biāo)文檔提取的內(nèi)容相關(guān)性更強(qiáng)。同樣，我們?cè)谡^(guò)程中利用網(wǎng)頁(yè)分類(lèi)去從網(wǎng)頁(yè)中提取最相關(guān)的內(nèi)容。我們系統(tǒng)的網(wǎng)絡(luò)輿情信息預(yù)處理模塊也使用了這些特點(diǎn)。 這個(gè)模塊由二個(gè)方法構(gòu)成：數(shù)學(xué)算法或神經(jīng)網(wǎng)絡(luò)和文本分類(lèi)/聚類(lèi)。 有許多根據(jù)數(shù)學(xué)算法中的方法構(gòu)建的模塊。網(wǎng)絡(luò)公共會(huì)話的的增長(zhǎng)使得網(wǎng)絡(luò)通信成為了一個(gè)潛在的富有的數(shù)據(jù)來(lái)源。P.D. Turney[6]介紹了一種從龐大的語(yǔ)料庫(kù)中對(duì)語(yǔ)義傾向進(jìn)行無(wú)監(jiān)督學(xué)習(xí)的簡(jiǎn)單算法。這種方法涉及了向搜索引擎進(jìn)行請(qǐng)求和利用逐點(diǎn)交互信息來(lái)分析結(jié)果。 類(lèi)似地，Peter Jorgensen[7]探索了競(jìng)爭(zhēng)（IAC）的相互作用和人工神經(jīng)網(wǎng)絡(luò)（ANN）的使用來(lái)找到存在于電子郵件文本中的關(guān)系。最終，Pjianping Zeng[8]提出了隱馬爾可夫模型（HMM）來(lái)描述網(wǎng)絡(luò)輿情的活動(dòng)。所有他們的研究最終形成了有關(guān)網(wǎng)絡(luò)輿情活動(dòng)過(guò)程的數(shù)學(xué)模型的整合，這一整合可以利用一定的數(shù)據(jù)進(jìn)行自動(dòng)的分析。 其他的研究使用了文本分類(lèi)或聚類(lèi)的方法。文本分類(lèi)當(dāng)前是信息搜索和數(shù)據(jù)挖掘領(lǐng)域研究的一個(gè)熱門(mén)主題[9,10]。其在近年來(lái)有著迅速的發(fā)展，并在信息過(guò)濾，自然語(yǔ)言處理和信息的組織和管理方面有著廣泛的應(yīng)用。Pyanjun Li和Soon M.Chung [11]提出了二種新的文本聚類(lèi)算法，名為根據(jù)頻繁詞序的聚類(lèi)（CFWS）和根據(jù)頻繁詞意序列的聚類(lèi)（CFWMS）。 Ⅲ. IPOAS模型概覽 IPOAS模型采用了三層結(jié)構(gòu)，分別是I/O層、服務(wù)處理層和數(shù)據(jù)層。圖1顯示了系統(tǒng)的具體結(jié)構(gòu)。每層都可以被細(xì)分。每層的具體分解見(jiàn)圖1。 圖1. IPOAS模型 A. I/O層 1） 數(shù)據(jù)集：數(shù)據(jù)集與用戶(hù)要求要收集的數(shù)據(jù)有關(guān)。它主要包括內(nèi)部數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)和媒體數(shù)據(jù)。 互聯(lián)網(wǎng)在日常生活中逐漸成為了公眾交換信息的一個(gè)重要平臺(tái)。例如BBS、博客、門(mén)戶(hù)網(wǎng)站和政府網(wǎng)站等等信息平臺(tái)可以作為對(duì)輿情進(jìn)行監(jiān)視和疏導(dǎo)的一個(gè)來(lái)源。 2） 前端應(yīng)用模塊：前端應(yīng)用模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)的輸出程序。在大多數(shù)情況下，它提供適應(yīng)用戶(hù)需要的功能，包括有——熱點(diǎn)查尋，關(guān)鍵詞檢索，自動(dòng)摘要，主題詞自動(dòng)推薦，輔助收集功能等等。 B. 服務(wù)加工層數(shù) 1） 網(wǎng)絡(luò)輿情信息收集模塊：網(wǎng)絡(luò)輿情信息收集模塊用來(lái)定位網(wǎng)頁(yè)資源和獲取它的源代碼。 當(dāng)前基于網(wǎng)頁(yè)鏈接的信息收集技術(shù)可以自動(dòng)地獲取基于的網(wǎng)頁(yè)資源和源代碼。因而收集覆蓋面便可以通過(guò)鏈接遍及整個(gè)互聯(lián)網(wǎng)。網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)可以根據(jù)用戶(hù)提供的網(wǎng)絡(luò)輿情關(guān)注點(diǎn)制定主體目標(biāo)，然后利用手工干預(yù)和信息自動(dòng)收集的聯(lián)合方法完成信息收集的任務(wù)。對(duì)于那些被定位的網(wǎng)頁(yè)資源，系統(tǒng)會(huì)判斷這些資源是否被保存進(jìn)了歷史數(shù)據(jù)庫(kù)。如果是并且兩者相同，系統(tǒng)將忽略這樣的資源并繼續(xù)收集其他資源。相反，如果資源未被保存入數(shù)據(jù)庫(kù)或保存過(guò)后被改變了，系統(tǒng)將使用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)收集這些信息然后保存這些數(shù)據(jù)到數(shù)據(jù)庫(kù)中以便之后進(jìn)行信息預(yù)處理工作。 2） 信息預(yù)處理模塊：信息預(yù)處理模塊的主要作用是通過(guò)使用諸如去雜、分詞和分類(lèi)等方法將從網(wǎng)頁(yè)上收集的數(shù)據(jù)處理成格式化數(shù)據(jù)，然后將他們保存到數(shù)據(jù)庫(kù)中。這個(gè)模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)中的數(shù)據(jù)準(zhǔn)備和技術(shù)準(zhǔn)備階段。預(yù)處理收集到的信息意味著轉(zhuǎn)換網(wǎng)頁(yè)格式并且過(guò)濾出網(wǎng)絡(luò)輿情信息。對(duì)于新聞評(píng)論，這個(gè)模塊需要過(guò)濾掉無(wú)關(guān)的信息并保留諸如新聞標(biāo)題、來(lái)源、日期、內(nèi)容、點(diǎn)擊量、評(píng)論者、評(píng)論內(nèi)容、評(píng)論數(shù)量等等信息。類(lèi)似地，對(duì)于BBS，模塊需要記錄帖子的標(biāo)題、發(fā)帖人、發(fā)帖日期和時(shí)間、內(nèi)容、回復(fù)、回復(fù)的數(shù)量的標(biāo)題，最后要產(chǎn)生格式化過(guò)的信息。 收集模塊和信息預(yù)處理模塊的數(shù)據(jù)交互是通過(guò)文件完成的。所以信息預(yù)處理模塊可以直接將處理后的數(shù)據(jù)結(jié)果存放到數(shù)據(jù)庫(kù)中。 3） 網(wǎng)絡(luò)輿情語(yǔ)義分析模塊：網(wǎng)絡(luò)輿情語(yǔ)義分析模塊進(jìn)一步地從信息預(yù)處理模塊生成的數(shù)據(jù)中挖掘數(shù)據(jù)。所運(yùn)用的關(guān)鍵技術(shù)有熱點(diǎn)發(fā)現(xiàn)的和跟蹤，新事件發(fā)現(xiàn)，關(guān)聯(lián)分析和趨勢(shì)分析。 這一模塊是整體系統(tǒng)的核心模塊。它有著像網(wǎng)絡(luò)輿情監(jiān)視，熱點(diǎn)跟蹤和事件發(fā)現(xiàn)等等功能。 在系統(tǒng)實(shí)現(xiàn)過(guò)程中，網(wǎng)頁(yè)信息分析方法基于向量空間模型，并且采用了成熟的的數(shù)據(jù)挖掘算法和技術(shù)，例如文本分類(lèi)和文本聚類(lèi)。與其他研究相比，這個(gè)系統(tǒng)的好處是它采用了靈活的方法對(duì)數(shù)據(jù)挖掘算法進(jìn)行了整合應(yīng)用，并且這些算法可以根據(jù)文本分析和數(shù)據(jù)挖掘的需要進(jìn)行定制。可以確信，整體系統(tǒng)可以執(zhí)行策略調(diào)整和優(yōu)化以適應(yīng)用戶(hù)和應(yīng)用的需要，因此系統(tǒng)可以在使用中達(dá)到它的設(shè)計(jì)水平。 4） 趨勢(shì)分析模塊：趨勢(shì)分析模塊用來(lái)分析公眾對(duì)一個(gè)主題在不同的時(shí)期的關(guān)心程度。因而它可以提供網(wǎng)絡(luò)輿情趨勢(shì)的預(yù)測(cè)和預(yù)警服務(wù)來(lái)幫助決策者了解網(wǎng)絡(luò)輿情的趨勢(shì)和事先發(fā)現(xiàn)熱點(diǎn)問(wèn)題。 C.數(shù)據(jù)層 數(shù)據(jù)層主要負(fù)責(zé)保存物理數(shù)據(jù)到數(shù)據(jù)庫(kù)中，這其中會(huì)用到有關(guān)算法、網(wǎng)絡(luò)輿情收集、網(wǎng)絡(luò)輿情特征向量、語(yǔ)義分析等方面的知識(shí)。 Ⅳ. 網(wǎng)絡(luò)輿情信息預(yù)處理技術(shù) 網(wǎng)絡(luò)輿情信息預(yù)處理模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)中最重要信息處理的模塊之一。這個(gè)模塊將進(jìn)一步處理從網(wǎng)絡(luò)輿情信息收集模塊傳來(lái)的網(wǎng)頁(yè)源代碼。現(xiàn)今有許多信息預(yù)處理技術(shù)，例如網(wǎng)頁(yè)摘要，網(wǎng)絡(luò)文本組織法，網(wǎng)頁(yè)凈化，網(wǎng)頁(yè)去重，文本分割，停用詞和功能詞刪除和詞頻統(tǒng)計(jì)。在這個(gè)部分，我們考慮如何分析嵌在網(wǎng)頁(yè)中的復(fù)雜隱晦的結(jié)構(gòu)和如何使用這些信息進(jìn)行網(wǎng)頁(yè)摘要。我們的方法是從網(wǎng)頁(yè)提取最相關(guān)的內(nèi)容然后傳遞他們到一種標(biāo)準(zhǔn)文本分類(lèi)算法中。 尤其是，我們將用頁(yè)面布局分析法識(shí)別出的內(nèi)容主體指導(dǎo)網(wǎng)頁(yè)的摘要工作。 網(wǎng)頁(yè)中結(jié)構(gòu)化的字符使網(wǎng)頁(yè)摘要與純文本摘要不同。這項(xiàng)任務(wù)的難點(diǎn)在于在網(wǎng)頁(yè)中數(shù)量眾多的“嘈雜”成分，例如導(dǎo)航條、廣告和版權(quán)信息。為了運(yùn)用網(wǎng)頁(yè)的結(jié)構(gòu)信息，我們使用了如[12]所描述的基于功能的對(duì)象模型（FOM）的一個(gè)簡(jiǎn)化版本。 簡(jiǎn)言之，FOM試圖通過(guò)辨認(rèn)對(duì)象的作用和類(lèi)別來(lái)了解作者的意圖。在FOM中，對(duì)象被分類(lèi)成一個(gè)作為最小的信息體并不可進(jìn)一步被劃分的基本的對(duì)象（BO），或者是一個(gè)組合對(duì)象（CO）。組合對(duì)象是對(duì)象（BO或CO）的集合，而這些對(duì)象可以同時(shí)發(fā)揮某些作用。BO的一個(gè)例子是jpeg文件。在HTML內(nèi)容中，BO是一個(gè)在兩個(gè)標(biāo)簽或一個(gè)內(nèi)嵌對(duì)象中的不可分的元素。在BO的內(nèi)容的里面沒(méi)有其他標(biāo)記。根據(jù)這個(gè)標(biāo)準(zhǔn)，我們可以容易地在網(wǎng)頁(yè)里找出所有的BO。同樣，CO可以被網(wǎng)頁(yè)布局分析所查出。基本思想是在同一個(gè)類(lèi)別的對(duì)象通常有一致的視覺(jué)樣式，以便他們可以從其他類(lèi)別對(duì)象中由明顯的可見(jiàn)邊界分離，例如表格邊界。在查出網(wǎng)頁(yè)中的所有的BO和CO后，我們可以根據(jù)一些啟發(fā)式規(guī)則辨認(rèn)每個(gè)對(duì)象類(lèi)別。 這些規(guī)則的詳細(xì)例子在[15]中被展示；這里我們僅提供概要。首先，對(duì)象類(lèi)別包括： 1）信息對(duì)象：這個(gè)對(duì)象表示內(nèi)容信息。 2）導(dǎo)航對(duì)象：這個(gè)對(duì)象提供導(dǎo)航指南。 3）互動(dòng)對(duì)象：這個(gè)對(duì)象提供用戶(hù)端互動(dòng)。 4）裝飾對(duì)象：這個(gè)對(duì)象起裝飾作用。 5）特殊功能對(duì)象：這個(gè)對(duì)象執(zhí)行特殊功能例如廣告、商標(biāo)、聯(lián)系方式、版權(quán)、參考等等。 為了利用這些對(duì)象，從上述的對(duì)象類(lèi)型中，我們定義了一個(gè)網(wǎng)頁(yè)中包含與該頁(yè)主題有關(guān)的主要對(duì)象的內(nèi)容體（CB）；這些是表達(dá)關(guān)于網(wǎng)頁(yè)重要信息的對(duì)象。找出CB的算法如下： 1. 把每個(gè)被選擇的對(duì)象當(dāng)作一個(gè)單一文檔并且為對(duì)象建立的TF*IDF索引。 2. 利用余弦相似度算法計(jì)算任意兩個(gè)對(duì)象的相似度，如果相似度大于某個(gè)閾值，就增加一個(gè)這兩個(gè)對(duì)象間的鏈接。閾值需要根據(jù)經(jīng)驗(yàn)進(jìn)行選擇。在處理完所有對(duì)象對(duì)之后，我們將得到一張連接不同的對(duì)象的關(guān)聯(lián)圖。 3. 在圖表中，擁有最多邊緣的對(duì)象被定義為核心對(duì)象。 4. 提取CB作為與核心對(duì)象相連接的所有對(duì)象的組合。 最后，我們將分配CB值S到每個(gè)句子。如果句子包括在“內(nèi)容體”中，則Scb= 1.0；否則， Scb= 0.0。最后，所有Scb等于1.0的句子將用來(lái)進(jìn)行我們所談到的的網(wǎng)頁(yè)摘要。 Ⅴ. 網(wǎng)絡(luò)輿情信息的語(yǔ)義分析（IPOISA） IPOISA是系統(tǒng)的核心技術(shù)，主要用來(lái)檢測(cè)和追蹤熱點(diǎn)。由它來(lái)確定網(wǎng)絡(luò)輿情（IPO）信息的準(zhǔn)確性。系統(tǒng)運(yùn)用文本分類(lèi)和文本聚類(lèi)的算法來(lái)實(shí)施語(yǔ)義分析和處理被預(yù)處理過(guò)的內(nèi)容，以便建立由索引信息組成的分析數(shù)據(jù)庫(kù)。 圖2. 網(wǎng)絡(luò)輿情信息的語(yǔ)義分析 圖2顯示的是IPOISA的結(jié)構(gòu)。 IPOISA包括文檔特征據(jù)庫(kù)、算法庫(kù)和分析結(jié)果數(shù)據(jù)庫(kù)。 文檔特征數(shù)據(jù)庫(kù)是在預(yù)處理網(wǎng)絡(luò)輿情（IPO）信息以后生成的知識(shí)數(shù)據(jù)庫(kù)。分析結(jié)果數(shù)據(jù)庫(kù)保存IPOISA的結(jié)果。 IPOISA的主要功能是算法庫(kù)，算法調(diào)度和線程操作： A. 算法庫(kù) 算法庫(kù)包括一些可以動(dòng)態(tài)地被擴(kuò)展和增加的配置文件。算法庫(kù)可以為每一種類(lèi)型的執(zhí)行線程生成特定的算法，并被算法調(diào)度程序所使用。系統(tǒng)根據(jù)系統(tǒng)管理員的需求保存關(guān)于算法策略的配置信息到算法庫(kù)中。 B. 算法調(diào)度 算法調(diào)度負(fù)責(zé)分配多線程的執(zhí)行和管理任務(wù)，即IPOISA的引擎。算法調(diào)度用來(lái)調(diào)度不同的算法和處理次序來(lái)分類(lèi)或聚類(lèi)本文的特征向量，并且控制線程的運(yùn)行。系統(tǒng)掌管和控制每個(gè)用戶(hù)的不同進(jìn)程，這意味著他可以在同一時(shí)間處理一個(gè)用戶(hù)的不同進(jìn)程。例如，由系統(tǒng)提供的基本的處理方法是熱點(diǎn)事件的探測(cè)和用戶(hù)感興趣的事件的追逐，然后系統(tǒng)可以同時(shí)為用戶(hù)A創(chuàng)造兩個(gè)進(jìn)程—熱點(diǎn)探測(cè)進(jìn)程“A_Detection”和事件跟蹤進(jìn)程的“A_Tracking”，用這兩個(gè)進(jìn)程來(lái)分析和處理來(lái)自多方面的信息。 C. 線程處理 每個(gè)處理線程都是文本分類(lèi)或聚類(lèi)之一的過(guò)程，包含值向量的生成、特征選擇或者特征提取、文本分類(lèi)或聚類(lèi)。算法庫(kù)確定每個(gè)線程的每個(gè)部分的算法。線程根據(jù)預(yù)編程序時(shí)間頻率和處理策略從文檔特征向量庫(kù)中讀取需要的內(nèi)容，并且進(jìn)行進(jìn)一步的分析和處理，其結(jié)果將被保存入結(jié)果數(shù)據(jù)庫(kù)。最后，用戶(hù)可以在結(jié)果數(shù)據(jù)庫(kù)中進(jìn)行查詢(xún)，所需要的結(jié)果將以適當(dāng)?shù)男问匠尸F(xiàn)給用戶(hù)。 Ⅵ. 實(shí)驗(yàn) 為了確定對(duì)網(wǎng)絡(luò)分類(lèi)和IPOAS的摘要效果，我們進(jìn)行了幾次實(shí)驗(yàn)。 A. 數(shù)據(jù)集 實(shí)驗(yàn)數(shù)據(jù)集由我們自己的語(yǔ)科庫(kù)和北京大學(xué)中文網(wǎng)頁(yè)訓(xùn)練集CCT2006組成。它包含8個(gè)類(lèi)別和6000個(gè)句子，其中有4000個(gè)被用作訓(xùn)練集合而其他的則用作測(cè)試。共有四個(gè)類(lèi)別，包括教育、商業(yè)、計(jì)算機(jī)和互聯(lián)網(wǎng)、新聞和媒體，被選中用來(lái)分析結(jié)果。 B. 分類(lèi)器 因?yàn)楸疚牡慕裹c(diǎn)是確定對(duì)網(wǎng)絡(luò)分類(lèi)和IPOAS的摘要效果，在實(shí)驗(yàn)中我們選擇了兩個(gè)流行的分類(lèi)器。 一個(gè)是原生貝葉斯分類(lèi)器，另一個(gè)是支持向量機(jī)。 1) 原生貝葉斯分類(lèi)器（NB） 原生貝葉斯分類(lèi)器（NB）是在實(shí)踐中被證明很好使用的一種簡(jiǎn)單但有效的文本分類(lèi)算法。NB的基本思想是使用詞匯和分類(lèi)的聯(lián)合概率來(lái)估算一篇給定文檔所在分類(lèi)的概率。多數(shù)研究者通過(guò)運(yùn)用貝葉斯規(guī)則使用NB方法： 當(dāng)P(Cj|θ)可以通過(guò)計(jì)數(shù)在訓(xùn)練數(shù)據(jù)出現(xiàn)的每個(gè)類(lèi)別Cj的頻率來(lái)計(jì)算；|C| 是類(lèi)別的數(shù)量；p(wi|cj)代表詞wi可能在分類(lèi)cj出現(xiàn)的概率在可能小在訓(xùn)練數(shù)據(jù)，這種概率在訓(xùn)練數(shù)據(jù)中可能會(huì)較小，因此拉普拉斯過(guò)濾被用來(lái)估算它；N(wk,di)是單詞wk出現(xiàn)在di中的次數(shù)；n是單詞在訓(xùn)練數(shù)據(jù)中的數(shù)量。 2) 支持向量機(jī)（SVM） 支持向量機(jī)（SVM）是V.Vapnik最近介紹的一個(gè)強(qiáng)有力的學(xué)習(xí)方法。它是建立在計(jì)算型學(xué)習(xí)理論之上的，而且已被成功地用于文本分類(lèi)。 SVM通過(guò)在可能的輸入空間內(nèi)發(fā)現(xiàn)超曲面來(lái)運(yùn)作。超曲面試圖通過(guò)最大化最近的距離的正負(fù)面例子來(lái)從負(fù)面例子中分裂正面例子到超曲面。直觀地，這使為那些與訓(xùn)練數(shù)據(jù)很近但又不相同測(cè)驗(yàn)數(shù)據(jù)分類(lèi)正確。有各種各樣的方式訓(xùn)練SVM。一個(gè)特別簡(jiǎn)單和快速的方法是由J.Platt開(kāi)發(fā)的序列最小最優(yōu)化（SMO）。他的序列最小最優(yōu)化算法將二次規(guī)劃（QP）問(wèn)題分解為一系列小的QP問(wèn)題來(lái)進(jìn)行分析解決。因而SMO算法有效地適用于大型的特征和訓(xùn)練集。 3) 評(píng)估指標(biāo) 我們使用標(biāo)準(zhǔn)指標(biāo)來(lái)評(píng)估網(wǎng)頁(yè)分類(lèi)的效果，即精確度、召回率和F1-measure指標(biāo)。要確定這些，我們必須首先來(lái)了解一篇文檔的分類(lèi)是否是真陽(yáng)性(TP)，假陽(yáng)性(FP)或假陰性(FN) (參見(jiàn)表1) 表Ⅰ 一篇文檔的分類(lèi) TP 決定于一篇文檔是否根據(jù)其相關(guān)的分類(lèi)被正確地分類(lèi)。 FP 決定于一篇文檔是否被說(shuō)明錯(cuò)誤地與分類(lèi)關(guān)聯(lián)。 FN 決定于一篇文檔是否本應(yīng)關(guān)聯(lián)到一個(gè)分類(lèi)卻沒(méi)有關(guān)聯(lián)上。 精確度（P）是在系統(tǒng)返回的所有被預(yù)言的正面類(lèi)成員之中的系統(tǒng)返回的實(shí)際正面類(lèi)成員的比例。P=TP/(TP+FP)。召回率（R）是被預(yù)言的正面成員在數(shù)據(jù)中所有實(shí)際正面類(lèi)成員之中所占的比例。R= TP/(TP+FN)。F1是精確度和召回率的調(diào)和平均數(shù)，如下所示： F1 = 2* P *R/ (P + R) C. 實(shí)驗(yàn)結(jié)果和分析 表Ⅱ 有關(guān)P、R和F1實(shí)驗(yàn)結(jié)果 Education News and Media Computer and Internet Business P NB 95.51 97.36 94.37 92.24 SVM 93.29 97.06 95.03 91.85 R NB 90.33 96.93 91.34 93.71 SVM 90.87 96.25 91.08 93.65 F1 NB 92.85 97.14 92.83 92.96 SVM 92.06 96.65 93.01 92.74 實(shí)驗(yàn)結(jié)果顯示兩種類(lèi)型的成熟文本分類(lèi)算法在被大量訓(xùn)練集訓(xùn)練后再次被聚類(lèi)處理，精確率和召回率以及F1值大致相同。例如，兩種算法的結(jié)果在新聞和媒體方面令人滿(mǎn)意，然而NB在教育和商業(yè)類(lèi)別中表現(xiàn)得要比SVM更好，而SVM比NB更擅長(zhǎng)計(jì)算機(jī)和互聯(lián)網(wǎng)類(lèi)別。可見(jiàn)一個(gè)適用不同的種類(lèi)的文本分類(lèi)算法的通用平臺(tái)由IPOAS建立。根據(jù)實(shí)際需要和用戶(hù)需求，IPOAS可以通過(guò)滿(mǎn)足不同算法的處理需求來(lái)運(yùn)用更多更為有效的的算法。因此，這再次證明了IPOAS有良好的擴(kuò)展性和多算法兼容性。 Ⅶ. 總結(jié) 以前，網(wǎng)絡(luò)輿情分析系統(tǒng)只不過(guò)是輿情信息處理的其中一環(huán)，只是文本分類(lèi)或文本聚類(lèi)而已。這種應(yīng)用在某種狀況下經(jīng)常被認(rèn)為是差強(qiáng)人意的，例如，在用戶(hù)想要在某個(gè)時(shí)期把新聞歸類(lèi)為教育、經(jīng)濟(jì)、文化、科學(xué)技術(shù)等等，并且想要查看每個(gè)類(lèi)別中的熱點(diǎn)事件時(shí)。很明顯地，這些要求的實(shí)現(xiàn)需要首先對(duì)文本進(jìn)行分類(lèi)，再?gòu)那耙浑A段的結(jié)果中針對(duì)每個(gè)類(lèi)別的文本進(jìn)行聚類(lèi)操作。 本文提出了一份網(wǎng)絡(luò)輿情分析的系統(tǒng)計(jì)劃。這個(gè)建模方法是可行且有效的。我們將文本分類(lèi)和聚類(lèi)算法巧妙地結(jié)合了起來(lái)，并證明了這種結(jié)合比僅使用它們其中的一個(gè)要更有效率、更有效果。我們通過(guò)應(yīng)用網(wǎng)頁(yè)摘要技術(shù)可以從網(wǎng)頁(yè)中提取最相關(guān)的內(nèi)容，然后把它們傳遞給一個(gè)標(biāo)準(zhǔn)的文本分類(lèi)算法。通過(guò)實(shí)驗(yàn)的結(jié)果，我們證明了這一系統(tǒng)在系統(tǒng)結(jié)構(gòu)和設(shè)計(jì)上的優(yōu)越性。 致謝 這一成果是在CEEUSRO工程（No.2008B090500201）和廣東省高校科學(xué)技術(shù)成果轉(zhuǎn)化重點(diǎn)工程（No.cgzhzd0807）的支持下完成的。
