文件筐測驗
出自 MBA智库百科(https://wiki.mbalib.com/)
文件筐測評（In-Basket Test）
目錄 |
文件筐測驗是評價中心最常用和最核心的技術之一。文件筐測驗是情境模擬測試的一種，它是對實際工作中管理人員掌握和分析資料、處理各種信息，以及做出決策的工作活動的一種抽象和集中。該測驗在假定的情景下實施。該情景模擬一種假設環境，如單位、機關所發生的實際業務、管理環境。提供給受測者的信息如函電、報告、聲明、請示及有關材料等文件，內容涉及人事、資金、財務、市場信息、政府的法令、工作程式等多種材料，這些材料放在公文筐里，測驗要求受測者以管理者的身份，模擬真實生活中的情景和想法，在規定的條件下在限定時間（通常為1~3小時）內對各類公文進行現場處理，評委通過對受測者處理文件過程中的行為表現和書面答案，評價其計劃、授權、組織、預測、決策和溝通的能力，該測驗通常用於管理人員的選拔。測驗一般只給日曆、背景介紹、測驗指示和紙筆，考生在沒有旁人協助的情況下回覆函電，擬寫指示，作出決定，以及安排會議，評分除了看書面結果外，還要求考生對其問題處理方式做出解釋，根據其思維過程予以評分。文件筐測驗具有考察內容範圍廣、錶面效度高的特點，因而非常受歡迎，使用頻率居各種情境模擬測驗之首。
文件筐測驗的主要特點表現在以下幾個方面：
1、考察內容範圍十分廣泛。
作為紙幣形式的文件筐測驗，測評受測者的依據是文件處理的方式及理由，是靜態的思維結果。因此，除了必須通過實際操作的動態過程才能體現的要素外，任何背景知識、業務知識、操作經驗以及能力要素都可以涵蓋於文件之中，藉助於受測者對文件的處理來實現對受測者素質的考察。
2、錶面效度很高。
文件筐作業所採用的文件，十分類似甚至有的直接就是應聘職位中常見的文件，因此，如果受測者如果能妥善處理測驗公文，就能理所當然地被認為具備職位所需的素質。
3、應用範圍大。
考察內容範圍的廣泛使得文件筐測驗具有廣泛的實用性，並且錶面效度高，易為人所接受，因此，文件筐測驗在眾多公選考試測驗中普遍使用的一種。
4、情景性強。
文件筐測驗完全模擬現實中真實發生的經營、管理情景，對實際操作有高度似真性，因而預測效度高。
5、綜合性強。
測驗材料涉及到日常管理、人事、財務、市場、公共關係、政策法規等行政機關的各項工作，從而能夠對高層及中層管理人員進行全面的測評與評價。
6、評分難度大。
文件處理結果的評價受多種因素的影響，機構、氛圍、管理觀念不同的組織，具有不同的評價標準。在文件筐測驗的評分確定過程中，專業人員和實際工作者往往存在理解上的差異。
7、成本很高。
文件筐測驗的試題設計、實施、評分都需要較長的研究與篩選，必須投入相當大的人力、物力和財力才能保證較高的錶面效度，因此花費的精力和費用都比較高。
文件筐測驗的設計必須緊緊抓住三個環節：
第一，工作分析。深入分析職位工作的特點，確定勝任該職位必須具備哪些知識、經驗和能力。工作分析的方法可以是面談、現場觀察或問卷。通過工作分析，要確定文件筐測驗要測評什麼要素，哪些要素可以得到充分測評，各個要素應占多大權重。
文件筐測驗一般可以考查以下要素：
①書面表達及其理解；②統籌計劃能力；③組織協調能力；④洞察問題和判斷、決策能力；⑤任用授權能力；⑥指導控制能力；⑦崗位特殊素質，如法規條例知識。
第二，文件設計。包括選擇什麼文件種類，如信函、報表、備忘錄、批示等；確定每個文件的內容，選定文件寓設的情境等等。文件數量較多，時間以 2～3小時為宜。文件的簽發方式及其行文規定可以忽略，但文件的行文方向（對上與對下，對內與對外等）應有所區別。特別要註意各個文件測評要素的設計。常常一個文件不同的處理可以體現不同的要素，設計的對文件的處理方式要有所控制，確定好計分規則或計分標準，儘量避免每個要素同時得分和無法歸於某一要素的情況出現。
第三，測驗評分。實施文件筐測驗之後，評分一般由專家和具備該職位工作經驗的人（一般是選拔職位的上級主管及人事組織部門的領導）進行，除了前面設計時要制訂好評分標準外，更重要的是對評分者要進行培訓，使評分者根據評分標準而不是個人的經驗評分。評分的程式也要特別註意，可以考慮各自獨立評分，然後交流評分結果，對評分差異各自申述理由後，再獨立第二次評分。最後將評分結果進行統計平均（評分者比較多時，可以去掉最高分和最低分)，以平均分作為最後得分。有時，在考生答案不明確的情況下，需要質詢應聘考生，根據其對處理方式的解釋確定得分。
整個文件筐測驗的設計要特別註意兩點：
一是測驗材料難度的把握。目前國內對各個職位應具備何種程度的知識、經驗和能力缺乏客觀可靠的依據，難度的把握比較困難。把握不准，材料過難，固然作為選拔測驗有時可以選拔到很好的人才，但大材小用，很難設想這人會安心本職位工作，且導致人力資源的浪費。材料過於容易，測驗會出現“天花板效應”，大家都得高分，區分不出應聘考生的能力大些。
二是要註意材料真實性程度的把握。完全杜撰的材料，應聘考生可以根據一般知識推理，處理的結果沒有針對性，看不出應聘考生的水平差異，考生被錄取後需要經過較長時間的培訓和適應才能勝任工作。完全真實的材料，過於偏重經驗的考查，忽視潛能的考查，最後選拔到的人無疑是完全與招聘單位文化氣氛相同的人，違背了引入外來人才，給單位輸入新鮮血液的本來目的。同時完全真實的材料，使招聘考試本身對單位內部考生和單位外部考生不公平，同樣的能力水平內部考生被錄取的可能性更大，結果給人留下“一切都是內定，考試不過是走形式”的印象，這對真正想引進外部人才的單位尤其不利。
管理人員計劃、組織、預測、決策、溝通能力的個體水平和群體水平是企業管理團隊核心能力的標尺，對於企業可持續發展力的保持和提升具有重大意義。五大能力的考察是文件筐測驗關註的焦點。下麵就以市場總監為例向大家逐一進行介紹：
是指被測評者在分析每一既得信息所反映的問題、問題產生的根源以及各問題間的相互關係並據此確定工作目標、工作任務、工作方法和工作實施步驟的能力。對於市場總監來講，就是考察他（她）在特定的外部競爭環境和內部資源條件下進行產品計劃、價格計劃、分銷計劃和促銷計劃的能力。滾動計劃法的應用情況、計劃的可行性、實施所需時間/成本以及風險度是考評管理者計劃能力關鍵指標。
是指被測評者按照各項既定工作任務的重要和緊急程度安排工作次序、調配人力/物力/財力資源、合理分工/授權併進行相應組織機構或人事調整的能力。當某大區的商品營業額出現大幅度滑坡時，市場總監往往要組織增派促銷人員、調撥促銷用品、加大營銷費用，授予大區市場經理臨時特別權力，甚至調整大區市場部組織機構或管理班子來加以應對。工作次序安排、資源配置、工作分工/授權情況以及組織措施的成本和風險度是考評管理者組織能力的關鍵指標。
預測能力
是指被測評者對模擬工作環境中相互關聯的各類因素及總體形勢未來發展趨勢進行準確判斷並預先採取相應措施的能力。競爭對手在某中心城市的各大商場剛剛投放一種明顯優於公司現有主導產品的新產品，而該城市正是公司計划下一步重點經營的目標市場——準確的預測及有效的應對措施此時對市場總監來講就顯得十分關鍵。對工作環境中各類相關因素及總體形勢未來發展的多種可能性及其發生概率的分析論證、各種防範/因應措施的合理性是考評管理者預測能力的關鍵指標。
決策能力
是指被測評者在解決實際工作問題（特別是解決重要且緊急的關鍵問題）時策劃並選擇高質量方案的能力。公司的新產品已被消費者認同，銷售額和利潤正在快速增長，仿製品也開始進入市場——是重點開拓全新市場、建立新的分銷渠道，還是在已開發市場轉變廣告宣傳策略、降價促銷呢？這就需要市場總監審時度勢、全面斟酌、正確決策。決策目標的清晰程度、備擇方案（一般為兩到三個）的可行性、各方案的評價/比較和最終確定的方式是考評管理者決策能力的關鍵指標。
溝通能力
是指被測評者通過書面形式準確表達個人思想和意見的能力。實際工作中，市場總監會經常以電子郵件、傳真、信函或公文的形式與各大區經理進行工作交流、根據市場人員狀況和市場競爭態勢對大區經理進行適時的工作指導、對大區經理進行日常慰問和精神鼓勵等等——這就需要良好的書面溝通能力。溝通網路和溝通方式的選擇、信息的準確性、思維的邏輯性、結構的層次性、文字的流暢性是考評管理者溝通能力的關鍵指標。
文件筐測驗對考官的綜合素質要求較高。他們不僅要具備管理學和心理學領域的基礎知識，瞭解文件筐測驗的理論和實踐依據，而且還要對測評對象所任職務的職責許可權和任職資格（工作經驗、學歷、能力、潛能和個性心理特征等）進行過系統研究，能夠獨立或與他人合作設計測評題目，瞭解各測評題目之間的內在聯繫；能夠恰如其分地開展考評問詢，能夠對被測評者進行全面、客觀、公正的評價。考官要對每種可能出現的答案及其所代表的意義成竹在胸並與其他考官事先達成共識。在上世紀五十至八十年代，文件筐測驗的考官是清一色的管理顧問、咨詢專家或心理學家。二十世紀八十年代以後，文件筐測驗的考官也開始逐步吸收所在企業的高級管理人員（他們通常是被測評者直接上級的上司）。企業高級管理人員通常對企業管理現狀的方方面面感受深刻，通過兩周左右的標準化速成培訓以及顧問人員的現場指導，他們基本上能夠擔負起合格考官的工作職責——而這對於企業自身管理團隊的建設意義深遠！
（1）文件筐測驗突出的兩個優點
一是考查的內容範圍廣。作為紙筆形式的文件筐測驗，測評考生的依據是文件處理的方式及理由，是靜態的思維結果。因此，除了必須通過動態過程才能體現的要素外，任何背景知識、業務知識、操作經驗以及能力要素都可以寓於文件之中，通過考生對文件的處理實現對考生素質的考查。
二是它的效率高。由於文件筐測驗所採用的文件，十分類似於考生應聘職位上常見的文件，有時就是完全真實的文件，因此，若考生能妥善處理測驗文件，就理所當然地被認為具備職位所需的素質。
前一個優點使得文件筐測驗具有廣泛的適用性，而後一個優點使之易為人所理解和接受。因此文件筐測驗在眾多情景模擬測驗手段中，屬於最普遍使用的一種。
（2）文件筐測驗在實施中的兩個缺點
一是評分比較困難。一份文件的處理，除了個人素質的原因外，機構、氛圍、管理觀念等不同的組織，具有不同的評價標準。顯然政府機關與公司企業、私營企業與國有企業對有關文件的處理是大相徑庭的。在我國從事實際工作的人們往往缺乏對招聘單位管理或經營狀況的深入瞭解，因而文件如何處理才能充分表明考生具備招聘職位所需素質，專業人員與實際工作者往往存在理解上的差異。因此，評分不容易把握。
二是不夠經濟。測驗的設計、實施、評分都需要較長的時間，投入的精力和費用比較大。
文件筐測驗可以集體施測，實施過程分準備、測試和評分三個步驟。
1.準備
主要指測驗材料和測試場所的準備。給每個考生的測驗材料，事前要編上序號，答卷紙也要有相應序號，實施前要註意清點核對。答卷紙主要由三部分內容構成：一是考生姓名(或編號)、應聘單位和職位、文件序號等；二是處理意見(或處理措施)、簽名及處理時間；三是處理的理由。文件序號只是文件的標識順序，不代表處理的順序，應允許考生根據輕重緩急調整順序，但給所有考生的文件順序必須相同，以示公正。測試的場所要求比較寬敞、安靜，每個人一桌一椅，相互之間無干擾。為了保密，最好所有考生在同一時間完成。如果文件內容涉及到招聘單位內部的一些情況，測試前應對所有考生提供培訓，介紹相關情況，縮小內部考生和外部考生對職位熟悉程度的差別。
- 2.實施
主試要對測驗要求作一簡單介紹，說明註意事項。然後發給考生測試指導語和答卷紙，回答考生的提問，當考生覺得沒有問題後，再發測試用的文件。考生人數比較少時，也可以一次將材料發給考生，但要求考生嚴格遵從主試的要求，先看指導語再看文件。測試指導語是測試情景、考生扮演的角色、考生任務和測試要求的說明，必須明確、具體，一目瞭然。有時在初級人員的文件筐測驗中，發給考生指導語後，讓考生完成一個指導語的測驗，強迫考生熟悉理解指導語，這在文化水平低的群體中有時十分有用。在考生正式進入文件處理後，一般不允許考生提問，除非是測驗材料本身有問題。
文件筐測驗答卷紙示例
| 考生編號________ | 招聘職位_________ | 文件序號________ |
| 處理意見：
簽名：_________ ______月______日 | ||
| 處理理由： | ||
文件筐測驗指導語示例(供招聘秘書用)
- 指導語
這是一些辦公室工作的模擬練習。目的是瞭解您在辦公室事務處理方面的經驗與能力。以下是有關的背景情況，請您務必仔細閱讀並牢記於心： 您是局辦公室秘書之一，大家都稱您小A。此辦公室是直接協助幾位局領導工作的職能部門，目前由田主任一人負責。
今天是2003年5月24日，星期五。局裡在遠郊召開一個重要會議，田主任和辦公室所有其他同事都去辦理會務，只有您一人留守。所有局領導都在出席重要會議。您不能找他們請示，局裡其他同事也都因種種原因不能給您幫忙。最不巧的是，由於那裡電信線路出現故障，您無法和在郊區開會的田主任及其他同事聯繫。
田主任昨晚輾轉托人給您一張便條：
小A： 明天(24日)有這麼幾件事情要偏勞你： （1）主管分房的李局長要瞭解職工對分房辦法第五稿的意見。請你看一下職工的意見材料，代我起草一份500字左右的報告。 （2）[[實習生]]鄭蘭說是寫了一份信息，你給看一下。最近局裡上報的信息比較少，被採用的更少。看這份信息能否上報或經修改後上報。 （3）請你給楊菁去封信，告訴她我們已經錄取了新秘書。 （4）請你根據李局長給馬林副局長來信的批示，把馬副局長的信處理一下。 以上幾件事情都不能再拖了，明天上午無論如何要完成。下午1：00局裡有車來會場，你搭車來會場，這裡實在忙不過來。 明天上午辦公室若有什麼事，你見機行事。辦公室不要因為我不在就影響正常運轉。 謝謝!
現在是早晨8：30，您一上班就得到上述指示和有關材料，您的任務是遵照指示完成所有工作。
- 以下是您在完成工作中必須遵守的程式和規定：
- （1）首先，請您完成《指導語自測題》，回答結果構成評分的重要內容。
- （2）其次，請在《日程計劃表》上擬訂一份今天的日程安排，若情況變化，日程安排可以更改，但必須在《日程計劃表》上予以註明。
- （3）一切任務請按您本人對秘書工作的理解和相應的指示獨立完成，並一定要說明這麼處理的理由，否則要倒扣分。
指導語測驗示例(供錄用秘書用)
| 考生編號：________ | 應聘職位：________ |
| 指導語測驗題
請您判斷以下陳述是否正確，選擇“是”或“否”； 1. 局裡只有你一人上班。 A.是B.否 2. 有什麼不清楚的事情，您可以打電話請示田主任。 A.是B.否 3. 能處理完最好，處理不完向田主任好好解釋一下，他會諒解的。 A.是B.否 4. 變動日程安排是允許的。 A.是B.否 5. 一件事情怎麼處理有時候憑直覺，不一定非要說出理由。 A.是B.否 (答案： B， B， B， A， B) | |
(如自己的回答與答案不符，請對照指導語檢查)
3. 評分
宜在考生做完後立即進行，當有質詢考生的設計時，特別應該如此。為求客觀，可將考生編號，由一個人將考生的處理意見和處理理由念給所有評分者聽，由各位評分者獨立評分。
為了保證評分的一致性，事前的評分者培訓很重要，可以考慮對一部分考生(或者模擬考生)進行試評分，考查各個評分者對標準的掌握及評分過程中存在的問題，待取得一致意見後再往下進行。評分時，可按序號逐一評定，也可按文件內容分類評定。前一種辦法可以對考生的素質形成整體印象，後一種辦法容易達成評分標準的一致性。
文件筐測驗能從多角度考察人員的能力，併在很大程度上減少猜測作答和抄襲的影響，成為人員測評中常用的方法之一。然而，不同的人根據同一評分標準對同一題評定往往得出不同的分數，因此評分者之間的變異成為誤差的主要來源之一。本研究運用概化理論的方法，探討題目難度、評分方法、培訓程度對評分者信度的影響。
對象與方法
一、評估內容的選取
選取某區政府科級幹部選拔的文件筐測評中第1，3，4，6題，均屬主觀題。依據內容的難易度分為2組：①複雜題組：包括第1和3題用於評估組織協調能力，第1題考察落實工作、授權、制定實施方案3個方面；第3題考察維持秩序和解決游行問題2個方面；②簡單題組：包括第4和6題則是用於評估被試者的說服影響能力，各題內部不再細分考察要點。
二、評分標準
採用兩種評分方法：①分析法，事前擬定標準答案，評分者在被測評者的答案中尋找得分點，併合計總分數；②等級法，把答題情況分成4個等級，確定相應等級描述，評分者根據答案總體情況評定等級。
三、評分者
6名評分者均為心理專業的碩士研究生，並隨機分為2組：①高培訓組，3名評分者，培訓時對評分標準和試題所代表的能力進行反覆地講解，使其充分理解，並嘗試對一份問卷評分，之後進行討論，糾正錯誤並回答所問題；低培訓組，3名評分者，僅對評分標準進行講解和答疑，沒有試評分的過程。
四、實施過程
從400份答卷中隨機抽取40份作為正式評分的材料，要求6名評分者根據分析法評分標準和等級法評分標準對40份問卷分別評分。評分過程為：先講解評分規則並對5份答卷進行預評價，待評分穩定後對40份答卷正式評價，為避免練習效應和疲勞效應，研究對評分者評價問卷的順序作了平衡處理；為避免條目分析法評分和等級法評分先後順序產生的誤差，對兩種評價方法的先後順序也作了平衡處理。使用SPSS 12．0和GENOVA FOR PC進行計算和統計。
結果
一、影響評分者信度因素的G研究
1．評估內容的影響：比較設計1和3，複雜題組的目標變異分量估計值小於簡單題組的值，而交互效應的值則大於簡單題組的值；比較設計2和4，各變異分量估計值的百分比差距不大。見表1。
2．方法的影響：比較設計1和2，分析法的目標分量變異估計值所占比例較大，交互作用變異分量估計值的比例較小，評分者變異分量比例差距不大；比較設計3和4，採用兩種方法的估計的目標分量變異估計值占的百分比很接近。見表1。
3．誤差的控制：從低培訓組的3個設計可以看到，只有設計6的目標分量變異估計值所占比例較大，無論是複雜題組還是簡單題組，分析法在評分者和交互作用的變異分量所占的比例均小於等級法。見表1。
二、影響評分者信度因素的D研究
對於高培訓組，複雜題組用分析法時信度繫數較高，而簡單題組用兩種方法差距不大；除用等級法評價的複雜題組外，當評分者在3人以上時其信度繫數均高於0．8。對於低培訓組，無論在複雜題組還是簡單題組中，使用分析法均高於簡單題組的信度繫數；有5名評分者用分析法估計複雜組時，其評分者信度可基本滿足要求。見表2。
討論
Penny等指出，對行為表現或筆試回答評估時，影響評分者信度的因素有評分方法、題目的長度、評分者對行為的打分。Breland與Huot的研究都證明瞭，分析性的評分方法好於整體性的評分方法。Linn和Burton認為，通過對評分者培訓，採用清晰明瞭的評分細則等方式，能夠在一定程度上對誤差予以控制。計算評分者信度有多種方法：相關法、一致性百分比法和概化繫數，一些學者對這些理論或公式的適用性和合理性進行了探討，由於經典測驗論的類內相關係數是G繫數的特例，且不受總體或全域分佈正態的，也沒有分數效應是獨立的、所有評分之間的方差和相關都是相等的等假定的限制，比其他評分者一致性估計方法更為主動，認為概化理論是一個比較好的方法。本研究結果顯示，對複雜題組評分時，用分析法好於等級法，對簡單題組評分用兩種方法評估差距不大，因此，方法因素未得到跨內容的一致性；等級法對簡單題組的評估好於對複雜題組的評估，分析法對兩個題組的評估效果沒有太大差別，因此，評估內容對評分者的信度的影響也未得到跨方法的一致性。然而，結果顯示用等級法評估複雜題組時其信度指標較低。從結果中還可以看到，培訓程度低的評分者用不同的方法差異較大，分析法好於等級法，分析法評價複雜能力時信度指標值更接近高培訓組的值。因而，認為分析性評分方法或許會更有效地控制誤差。
案例二：對文件筐測驗在選拔高層經理人員中的實證研究[2]
1．問題的提出
文件筐測驗(In—Basket Test，簡稱I—B)也稱作業筐或公文筐測驗，是評價侯選人能否勝任特定管理崗位的常用情境模擬技術(situational exercises)之一。文件筐測驗作為一種重要的心理測量工具，迄今為止已經有六十餘年研究和應用的歷史，Fredriksen，Saunders和Wand(1957)有關文件筐測驗的研究，引起了學者們的廣泛關註。此後，許多國際知名的公司如GE、AT&T等都開展了文件筐測驗的研究和應用。
目前學者們對於文件筐測驗信度和效度的認識還存在一些分歧，造成這種情況的重要原因之一是文件筐測驗的計分存在一定缺陷。我國有關文件筐測驗的應用並不少見，但鑒於文件筐測驗開發、計分以及深入研究需要投入巨大的勞動量，工作時間往往持續幾個月，而且必須依靠團隊的協同工作才能完成，這些因素常常使研究者望而怯步，因而有關這方面的實證研究極少，導致對文件筐測驗的應用評價缺少科學的依據。
2003年7月，我們在沈陽對應聘中國聯通遼寧省分公司12個地市級副總經理這一高級職位的候選人進行了評價中心測驗，其間運用所開發的文件筐測驗，對36名候選人進行了測試。利用收集到的數據，採用新型的計分方式，嘗試解決文件筐測驗的傳統計分方式中存在的問題，並對新型計分方式下的信度和效度進行了分析研究。
2．研究過程
(1)文件筐測驗的開發
2003年4月至7月初，為文件筐測驗的開發階段。研究者通過三個步驟完成文件筐測驗的開發工作。首先通過工作分析確定地市級副總經理工作的具體任務，以及完成工作所必須具備的勝任特征；其次確定測驗考察的五個核心勝任特征維度，包括計劃性、決策、人際溝通、問題分析和授權；最後是選擇測驗材料，在工作分析和維度指標的基礎上，選擇與實際工作活動和環境相適應的測驗材料，文件筐測驗最終由17個文件組成。
(2)樣本的分佈情況
參加文件筐測驗的36位候選人來自全國各地，大部分是中國聯通及中國移動公司各地相關部門的中層經理，最小年齡27歲，最大年齡43歲，平均年齡32．7778，標準差為3．788，樣本具有一定的代表性，詳細信息見表3。
表3 參加I-B測試的樣本分佈情況
| 統計量 | 人數 | 百分比 | |
|---|---|---|---|
| 性別 | 男 | 30 | 83.3% |
| 女 | 6 | 16.7% | |
| 年齡 | 27-30 | 8 | 22.2% |
| 31-40 | 27 | 75% | |
| 40以上 | 1 | 2.8% | |
| 學歷 | 大專 | 1 | 2.8% |
| 本科 | 33 | 91.6% | |
| 研究生 | 2 | 5.6% |
(3)新型評分技術的運用
文件筐測驗計分的科學性是其研究和應用的基礎，其信度和效度以及維度指標的評價都依賴於計分的科學性，徐曉鋒、車巨集生對文件筐測驗的計分有較為詳細的介紹。在文件筐測驗的諸多計分方法中，維度評定計分(dimension ratingscheme)的應用最為廣泛，這種方法要求計分者對被試所有維度都計分，測驗總分數是每個維度分數的總和。以往有關文件筐測驗的信度、效度指標多數是在此種計分基礎上進行分析得出的。但這種傳統的方法也存在明顯的缺點，如計分前需要進行系統的培訓，一般培訓時間至少需要5個小時以上，有時甚至需要幾天的時間；計分的過程十分繁瑣，而且需要耗費大量時間，對每一位應試者的計分至少需要1．5—2小時。由於信息加工量極大，不同計分者的計分內部一致性也存在差異。
如何減少文件筐測驗的計分時間、提高計分的內部一致性是文件筐測驗計分研究需要解決的主要問題。為了嘗試解決傳統計分上存在的問題，與以往國外研究者不同的是，我們首次採用錨定維度計分方法，即每個計分者都只對五個維度中的兩個維度進行計分，以減少信息加工量過大的問題，剋服計分者評判標準在五個維度之問頻繁轉換帶來的誤差。
計分者由北京師範大學心理學院人力資源與管理心理學研究所6名受過專業訓練的工作者組成，他們都有過文件筐傳統計分培訓經驗。為了適應此次新型計分方法．正式計分前統一經過一名人力資源專家的詳細培訓，對不同維度都採用利克特五點計分，並就計分的行為評定標準(behavior checklist)達成一致意見。正式計分中又刪去了3個區分度不大的文件，最後只對14個文件進行計分。
(4)研究結果
①評分者內部一致性信度
Frederiksen,Saunders和Wand(1957)研究發現文件筐測驗評分者內部一致性信度範圍從0．47到0．94。此後一些學者如Ward、Lopez、Crooks、Brass、Oldham，以及AT&T公司等都進行了此方面的研究，發現評分者內部一致性信度存在很大差異。通過分析，一些學者認為存在諸如評分者培訓等“其它因素”(Something else)的影響作用。以往有關研究，評分者和被斌人數都十分有限，評分者一般都不超過4人，被試不超過30人。
本研究在如下兩個方面較以往研究有所改進：一是認為造成評分者內部一致性信度分數差異的“其它因素”除了培訓以外，還有計分方法的原因，如採用新型的計分方法，能影響評分者內部一致性信度；二是總評分者(6人)和被試(36人)數目都超過國外以往評分者內部一致性信度的研究，所不同的是在單項維度的評分者數目為2—4人，沒有超過4人，研究結果見表4。
上述統計結果顯示，文件筐測驗有12個文件的評分一致性達到顯著水平，其中文件2(決策)、4(決策)、5(問題分析)、9(人際溝通)達到P<0．001顯著水平；文件1(計劃性)、1(授權)、3(決策)、6(授權)和13(人際溝通)達到聲<0．O1顯著水平；文件7(決策)、10(問題分析)、11(決策)和12(人際溝通)達到P<0．05顯著水平。只有兩個文件，即文件8和14不顯著。說明從總體上採用新型計分技術的評分一致性取得較好的效果。
進一步分析發現文件筐測驗的五個維度的評分者內部一致性信度分別為：問題分析(0．7521)、計劃性(0．8695)、人際溝通(0．8175)、授權(0．6986)和決策(0．9198)。將上述統計結果與Frederiksen等人的研究結果比較，可以發現此次文件筐測驗評分者內部一致性信度獲得比較理想的結果。
②效標關聯效度
關於文件筐的績效預測作用，一直都是在評價中心的研究文獻中加以報告的，離開評價中心的其他評價工具，很難單獨判斷文件篋對於績效預測的貢獻大小。一些研究結果揭示了文件筐測驗分數和各種效標之間存在顯著的相關關係，為文件筐測驗的有效性提供了證據，然而另一些研究文獻只在中等程度上支持(modest support)其對工作績效的預測作用。
為了對這些有爭議的問題進行認識，我們嘗試進行了I—B的效度研究。由於預測效度的收集存在一定的難度，本研究用同時效度代替預測效度的研究，從兩個方面探討效度研究的問題：
首先，將I—B測驗結果按照各維度得分的正態與偏態的不同分佈情況，分成A(錄用)、B(進一步考察)、C(淘汰)三類。最終錄用候選人名單由筆試、結構化面試和無領導小組討論的結果確定，最後將所有候選人也分成A(錄用)、B(進一步考察)、C(淘汰)三類。I—B與最終錄用名單的斯皮爾曼等級相關係數為r=0．704**。這說明I—B的評價結果和以由筆試、結構化面試和無領導小組討論確定的結果，具有較高的一致性，證實了其具有較高的同時效度。
其次，將I—B中的A(4人)、B(19人)、C(13人)和最終錄用名單中的A(10人)、B(13人)、C(13人)加以比較，發現I—B結果與最終錄用名單中A、B、C結果完全相同的人有22人，占61．16％，說明I—B和最終確定的結果總體上有較高的一致性。
③結構效度研究
關於文件筐測驗的結構效度研究，存在不同的研究結論。Frederiksen(1966)研究認為文件筐測驗存在較高的結構效度，而Brannick等(1989)研究發現文件筐測驗僅僅存在有限的(some)匯聚效度，缺乏區分效度。
為了獲得對結構效度的認識，首先分析了文件筐測驗各維度平均分數與文件筐測驗總平均分數的斯皮爾曼等級相關。結果發現，問題分析、計劃性、人際溝通、授權、決策與總分的相關分別為0．720**、0．646**、0．689**、0．469**和0．604**。說明各維度分數與總分均呈現顯著的相關，並對最終的分數結果均有較大的貢獻。其次，分析了文件筐測驗各維度平均分數的斯皮爾曼等級相關，結果見表5。
表5 I-B各維度分數的相關
| 問題分析 | 決策 | 計劃 | 溝通 | 授權 |
|---|---|---|---|---|
| 問題分析 | ||||
| 決策 | 0.284 | |||
| 計劃 | 0.355* | 0.192 | ||
| 溝通 | 0.426** | 0.499** | 0.182 | |
| 授權 | 0.081 | 0.325 | 0.053 | 0.295 |
上述統計結果顯示．在相關係數的十個結果中，七個相關不顯著，說明總體上各維度有一定的區分性。但問題分析和計劃、問題分析和溝通、決策和溝通的相關結果呈現顯著的相關，說明在維度的區分上還存在一些不清晰的界定，需要進一步做出分析探討。
Arthur(1999)和Filip(2002)等研究發現不良的設計、測最結構的混亂、評定存在的錯誤、不一致的評分、評定類型和形式上存在的差別等都可能導致評價中心的結構效度受到影響。這些研究結論，對認識文件筐測驗的結構效度研究結果及其解釋有一定的借鑒意義。
3．結論及建議
(1)通過以上分析和研究，可以獲得以下結論：
文件筐測驗新型計分技術的運用，有助於剋服傳統計分2的一些缺點，尤其是在經濟性和準確性上顯示了獨特的優點，我們認為它體現了文件筐測驗的發展方向。
在新型計分技術基礎上，評分者一致性信度獲得了較為理想的研究結果，可以認為評分一致性信度依賴於文件筐測．驗計分的科學性。
新型計分技術基礎上的同時效度研究，與總體錄用結果有著較高的一致性，證實了文件筐測驗在選拔中能夠發揮重要的作用。
(2)但是本研究也暴露瞭如下一些不足之處，今後需要改進和完善：
文件筐測驗的開發還需要完善。本次測驗在計分研究中刪去了3個區分效果不明顯的文件。另外在五個維度中，正如表4所示，考察決策的文件數目較多，而考察問題分析的文件又偏少。今後文件筐測驗的開發更多的應以有關內容效度的研究成果做指導，以確保將工作分析獲得的知識、技能、能力等信息有效轉化成文件筐的測驗信息。
本研究用同時效度代替預測效度的研究，還缺乏足夠的說服力。建議在半年或一年之後，收集錄用候選人的效標資料，以更加科學地評價文件筐測驗的預測效度問題。
本研究關於評分者內部一致性問題的研究，使用的肯德爾繫數方法依然較為粗略。近年來，學者們對評分者一致性信度(reliability)和評分一致性(agreement)進行了區分。James，Demaree和Wolf(1984)提出的普遍採用的計算內部評分者一致性(interrater agreement)的rWG方法；Burke，Finkelstein和Dusig(1999)提出的計算評分者內部一致性的Average Deviation方法；以及影響較大的Intraclass CorrelationCoefficient(ICC)方法都受到廣泛關註與探索，併成為應用領域方法研究的熱點問題之一。我國在此方面還研究不多，建議今後在研究應用領域的類似問題時，考慮這些新研究成果，以減少研究的誤差。
範例