??? 摘 要：關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘的主要技術(shù)之一，是描述數(shù)據(jù)庫中一組數(shù)據(jù)項(xiàng)之間的某種潛在關(guān)系的規(guī)則。以學(xué)生CET4成績數(shù)據(jù)為研究對象，運(yùn)用關(guān)聯(lián)規(guī)則挖掘算法Apriori算法，找出學(xué)生CET4成績中聽力、閱讀、寫作、綜合測試四部分成績之間的關(guān)系，以及這四部分成績與總分之間的關(guān)系。
??? 關(guān)鍵詞：關(guān)聯(lián)規(guī)則；Apriori算法；頻繁項(xiàng)集；數(shù)據(jù)挖掘；CET4
?
??? 數(shù)據(jù)挖掘技術(shù)應(yīng)用于教學(xué)管理中的主要方法是根據(jù)現(xiàn)有信息系統(tǒng)中的數(shù)據(jù)，挖掘高校教學(xué)管理工作中平?？床灰姟⒁矡o從知道的規(guī)律，以此來提高管理效率，幫助教師改進(jìn)現(xiàn)有的教學(xué)方式和方法，從而增強(qiáng)高校的競爭優(yōu)勢。關(guān)聯(lián)規(guī)則形式簡潔，易于解釋和理解，并可以有效地捕捉數(shù)據(jù)間的重要關(guān)系。
1 關(guān)聯(lián)規(guī)則的原理
??? 一般地，關(guān)聯(lián)規(guī)則挖掘是指從一個(gè)大型的數(shù)據(jù)集中發(fā)現(xiàn)有趣的關(guān)聯(lián)或相關(guān)關(guān)系，即從數(shù)據(jù)集中識(shí)別出頻繁出現(xiàn)的屬性值集，也稱為頻繁項(xiàng)集（簡稱頻繁集），然后再利用這些頻繁集創(chuàng)建描述關(guān)聯(lián)規(guī)則的過程[1]。
??? 關(guān)聯(lián)規(guī)則可形式化定義為:
??? 設(shè)I={i1,i2,…,im}是由m個(gè)不同的項(xiàng)組成的集合。給定一個(gè)事務(wù)數(shù)據(jù)庫D，其中每一個(gè)事務(wù)T是I中一組項(xiàng)的集合，
則事務(wù)T包含項(xiàng)集X。
??? 關(guān)聯(lián)規(guī)則是形如
并且X∩Y=Ф，如果D中事務(wù)包含X∪Y的百分比為S，則稱S為關(guān)聯(lián)規(guī)則X=>Y的支持度，它是概率P(X∪Y) ；如果D中包含X的事務(wù)同時(shí)也包含Y的百分比為C，則稱C為關(guān)聯(lián)規(guī)則X=>Y的置信度，它是條件概率P(Y/X)。習(xí)慣上將關(guān)聯(lián)規(guī)則表示為X=>Y(S%，C%)。
??? 關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)任務(wù)或問題就是在事務(wù)數(shù)據(jù)庫D中找出所具有用戶給定的最小支持度閾值(min_ sup)和最小置信度閾值(min_cof)的關(guān)聯(lián)規(guī)則，即這些關(guān)聯(lián)規(guī)則的支持度和置信度分別不小于最小支持度和最小置信度，這樣，每條被挖掘出來的關(guān)聯(lián)規(guī)則就可以用一個(gè)蘊(yùn)涵式(X=>Y)和兩個(gè)閾值(最小支持度min_sup和最小置信度min_cof)表示[1]。
2 關(guān)聯(lián)規(guī)則挖掘算法
2.1 Apriori算法：使用候選項(xiàng)集找頻繁項(xiàng)集
??? Apriori算法通過對數(shù)據(jù)庫D的多次掃描來發(fā)現(xiàn)所有的頻繁項(xiàng)目集。在第一次掃描數(shù)據(jù)庫時(shí)，對項(xiàng)集I中的每一個(gè)數(shù)據(jù)項(xiàng)計(jì)算其支持度，確定出滿足最小支持度的頻繁1項(xiàng)集的集合L1，然后，L1用于找頻繁2項(xiàng)集的集合L2，如此下去……在后續(xù)的第k次掃描中，首先以k-1次掃描中所發(fā)現(xiàn)的含k-1個(gè)元素的頻繁項(xiàng)集的集合Lk-1為基礎(chǔ)，生成所有新的候選項(xiàng)目集CK（Candidate Itemsets），即潛在的頻繁項(xiàng)目集，然后掃描數(shù)據(jù)庫D，計(jì)算這些候選項(xiàng)目集的支持度，最后從候選集CK中確定出滿足最小支持度的頻繁k項(xiàng)集的集合Lk，并將Lk作為下一次掃描的基礎(chǔ)。重復(fù)上述過程直到再也發(fā)現(xiàn)不了新的頻繁項(xiàng)目集為止。
2.2 由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則
??? 找出了所有的頻繁項(xiàng)集，由它們產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則就很方便了(強(qiáng)關(guān)聯(lián)規(guī)則滿足最小支持度和最小置信度)。對于置信度，公式為：confidence(X=>Y)=P(Y|X)
，其中support_count(X∪Y)是包含項(xiàng)集X∪Y的事務(wù)數(shù)。support_count(X)是包含項(xiàng)集X的事務(wù)數(shù)。關(guān)聯(lián)規(guī)則產(chǎn)生如下：
??? 對于任意一個(gè)頻繁項(xiàng)集L和L的任何非空子集
則生成關(guān)聯(lián)規(guī)則
且該規(guī)則的置信度和支持度分別為：
support(R)=support(L)[2]。
3 關(guān)聯(lián)規(guī)則的應(yīng)用
??? 以下以Visual Foxpro6.0為工具進(jìn)行討論。
3.1 數(shù)據(jù)預(yù)處理
??? 對現(xiàn)有的學(xué)生CET4成績進(jìn)行數(shù)據(jù)預(yù)處理(Data preprocessing)，包括2個(gè)步驟:數(shù)據(jù)清理(Data Clearing)和數(shù)據(jù)變換(Data Transformation)。
??? （1）數(shù)據(jù)清理：對表中的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清理，消除一些冗余數(shù)據(jù)，消除噪聲數(shù)據(jù)，消除重復(fù)記錄。很多學(xué)生的CET4成績數(shù)據(jù)都為0,通過調(diào)查知道這些數(shù)據(jù)缺失的原因是學(xué)生未參加考試，把這些數(shù)據(jù)都從數(shù)據(jù)庫表中刪除。數(shù)據(jù)清理后的如圖1所示。
?
??? （2）數(shù)據(jù)變換：將數(shù)據(jù)轉(zhuǎn)換成適合于挖掘的形式。由于學(xué)生CET4成績是以數(shù)字的形式給出的，不利于數(shù)據(jù)挖掘的進(jìn)行，因此需對聽力、閱讀、寫作、綜合測試4項(xiàng)的連續(xù)屬性值進(jìn)行離散化處理，即轉(zhuǎn)換為優(yōu)秀、良好、中、及格、不及格5個(gè)等級(jí)。因?yàn)镃ET4的分值分配為：總分710，聽力249，閱讀249，寫作142，綜合測試70，所以要把分?jǐn)?shù)換算為百分制。如分?jǐn)?shù)高于85為“優(yōu)”，介于80～85之間為“良”，70～80之間為“中”，60～70之間為“及格”，60分以下為“不及格”。“不及格”、“及格”、“中”、“良”、“優(yōu)”設(shè)定為1、2、3、4、5；用“A”代表總分，“B”代表聽力分?jǐn)?shù)，“C”代表閱讀分?jǐn)?shù)，“D”代表寫作分?jǐn)?shù)，“E”代表綜合測試分?jǐn)?shù)；將除了學(xué)號(hào)的所有字段都改為字符型。數(shù)據(jù)變換后如圖2所示，總計(jì)1 814條記錄。
?
3.2 設(shè)計(jì)思路
3.2.1求解頻繁項(xiàng)集
??? 圖2中的學(xué)生成績表.DBF為本文要研究的事務(wù)數(shù)據(jù)庫，它有6個(gè)字段，均為字符型。求解頻繁項(xiàng)集步驟如下：
??? (1) 建立一個(gè)項(xiàng)目數(shù)據(jù)表ITEM.DBF,該表中有1個(gè)字段，字段名為A，數(shù)據(jù)類型為字符型，用于存放CET4成績中每個(gè)組成部分的所有分?jǐn)?shù)段的表達(dá)值，該表中每條記錄代表一種表達(dá)值，表中的記錄數(shù)就是表達(dá)值形式的數(shù)目。該數(shù)據(jù)表中的記錄升序排列，分別為a1、a2、a3、b1、b2、b3、c1、c2、c3、d1、d2、d3、d4、e1、e2、e3、e4、e5。
??? (2) 建立6個(gè)空數(shù)據(jù)表FRENQ1、FRENQ2、FRENQ3、FRENQ4、FRENQ5、FRENQ6，分別用來存放1、2、3、4、5、6頻繁項(xiàng)集和它們的支持度計(jì)數(shù)。其中FRENQ1中有2個(gè)字段A、SUP，F(xiàn)RENQ2有3個(gè)字段A、B、SUP，F(xiàn)RENQ3有4個(gè)字段A、B、C、SUP，F(xiàn)RENQ4有5個(gè)字段A、B、C、D、SUP，F(xiàn)RENQ5有6個(gè)字段A、B、C、D、E、SUP，F(xiàn)RENQ6有7個(gè)字段A、B、C、D、E、F、SUP，只有SUP為數(shù)值型，其余的數(shù)據(jù)類型均為字符型。
??? (3) 利用成績表產(chǎn)生一個(gè)輔助數(shù)據(jù)表ITEM1，該表中只有一個(gè)字段ITEMSET ，數(shù)據(jù)類型為字符型，記錄數(shù)與成績數(shù)據(jù)表相同,數(shù)據(jù)為成績表中的A+B+C+D+E的值。
??? (4) 在求每個(gè)頻繁項(xiàng)目集時(shí)，分2步進(jìn)行：第1步產(chǎn)生候選項(xiàng)，第2步生成頻繁項(xiàng)目集。具體過程如下:首先,掃描ITEM表中每一條記錄，對應(yīng)在ITEM1.DBF求出所有的長度為1的該候選項(xiàng)的支持度，如果支持度大于給定的最小支持度,就把它存入FRENQ1.DBF中，直至把ITEM中的記錄數(shù)掃描完為止。隨后,利用FRENQ1.DBF產(chǎn)生長度為2的候選項(xiàng),掃描ITEM1.DBF求出所有長為2的該候選項(xiàng)集的支持度, 如果支持度大于給定的最小支持度，就存入FRENQ2.DBF中,直至掃描完FRENQ1.DBF中的記錄為止。其余的以此類推,直到求出所有的頻繁項(xiàng)目集。若發(fā)現(xiàn)某頻繁項(xiàng)集的數(shù)目為零，則停止計(jì)算。最后，輸出所有項(xiàng)目的頻繁集。在該程序中依然運(yùn)用了Apriori算法的性質(zhì)：如果一個(gè)項(xiàng)集是頻繁的,則它的所有子集也是頻繁的[3-6]。
??? 設(shè)定最小支持度為0.04，支持度計(jì)數(shù)為73，產(chǎn)生了79個(gè)頻繁項(xiàng)集。實(shí)驗(yàn)結(jié)果如圖3所示。
?
3.2.2 提取關(guān)聯(lián)規(guī)則
??? 從已經(jīng)產(chǎn)生的頻繁項(xiàng)集中確定它們的子集，然后根據(jù)關(guān)聯(lián)規(guī)則的挖掘算法原理，假設(shè)最小置信度為30%，由程序得出350個(gè)關(guān)聯(lián)規(guī)則。部分試驗(yàn)結(jié)果如圖4所示。
?
?
4 結(jié)果分析
??? (1) 聽力、寫作與總分之間的關(guān)系是雙向的，即聽力或?qū)懽鞣州^低，總分一般也較低；反之，總分較低，聽力或?qū)懽饕草^低。因?yàn)閷τ趯W(xué)生而言，一般學(xué)習(xí)聽力、寫作的主動(dòng)性較差，而這兩種題型也是一般學(xué)生考試中最棘手的題型。
??? (2) 閱讀、綜合測試和總分之間的關(guān)系主要表現(xiàn)為單向，即閱讀、綜合測試分較低，總分極有可能較低，但反之未必。這是由于CET4中的閱讀和綜合測試兩項(xiàng)的分值比例相對較大引起的。
??? (3) 任意兩項(xiàng)（或兩項(xiàng)以上）得分較低，總分都較低。其中，聽力和閱讀是影響總分最大的兩個(gè)因素。
??? (4) 在聽力、閱讀、寫作和綜合測試四項(xiàng)中，綜合測試題得分與其他三項(xiàng)得分的關(guān)系相對較?。欢犃蛯懽鲃t與閱讀和綜合測試的關(guān)系比較緊密。
??? (5) 從與總分的關(guān)系，以及與其余單項(xiàng)的關(guān)系來看，聽力、閱讀、寫作和綜合測試四項(xiàng)中，聽力是最突出的。
??? 最后得出這樣一個(gè)結(jié)論：在日常教學(xué)中應(yīng)進(jìn)一步強(qiáng)調(diào)聽力題的重要地位，進(jìn)一步加強(qiáng)聽力的訓(xùn)練。
??? 關(guān)聯(lián)規(guī)則的應(yīng)用很廣泛。本文根據(jù)關(guān)聯(lián)規(guī)則的挖掘過程，對學(xué)生CET4成績的各個(gè)部分進(jìn)行了分析。利用Apriori算法，借助于計(jì)算機(jī)，可以對于海量數(shù)據(jù)進(jìn)行分析，從而可以進(jìn)行更為全面和客觀的預(yù)測與決策。分析的結(jié)果將會(huì)對某門課程的教學(xué)提供大量有用的信息，從而指導(dǎo)我們的教學(xué)。
參考文獻(xiàn)
[1] 陳文偉，黃金才. 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M]. 北京：人民郵電出版社，2004.
[2]?韓家煒. 數(shù)據(jù)挖掘概念與技術(shù)[M]. 北京：機(jī)械工業(yè)出版社，2000.
[3]?齊曉峰. 數(shù)據(jù)挖掘技術(shù)在學(xué)生成績管理中的應(yīng)用研究[D]. 阜新：遼寧工程技術(shù)大學(xué)，2006.
[4]?趙輝. 數(shù)據(jù)挖掘技術(shù)在學(xué)生成績分析中的研究及應(yīng)用[D].大連： 大連海事大學(xué)，2007.
[5]?陸楠. 關(guān)聯(lián)規(guī)則的挖掘及其算法的研究[D]. 長春：吉林大學(xué)，2007
[6]?羅可，吳建華，吳杰. 一種用Visual Foxpro求頻繁項(xiàng)目集的方法[J]. 計(jì)算機(jī)工程，2001(5).