刻度準,才能量的準:談問卷回饋

剛結束的一個公開班,由憲哥跟我,以及三個不同領域,但卻同樣優秀的老師一起合開。課程結束的那天晚上,我就收到助理芋頭整理好的課後意見回饋表。滿分 10 分的問卷,大部份勾選10分滿分,也有幾張選了9分,少數的有零星幾份圈選了 7~8 分不等的成績。5個老師的平均分數,介於 9.8 ~ 9.1 之間,如果以滿分 10 分的數字來看,應該是很不錯的成績。但我卻有點不滿意,告訴助理下次要調整滿意度問卷的評量尺度,由 10 等量表改成 5 等量表。

「為什麼要改呢?」芋頭有點不解的問我。「課後問卷的目的是什麼?」我回問她。「當然是透過問卷調查,得知聽眾或學員對課程的滿意度啊?」我點點頭,再繼續問「那知道滿意度之後呢?」。芋頭很快的回我說「當成下一次改進的依據啊!」。完全正確的答案。「那如果調查的分數失準?你覺得調查會有效嗎?」。我知道這麼說,她可能無法完全理解我的想法,因此接著補充了幾個例子,讓芋頭更清楚什麼叫調查失準。

「假設有一個古典樂曲,請我們去當評審」我問芋頭。像這樣的情形之下,你覺得我們有沒有可能,對不同的古典樂曲,做出準確的評分呢?芋頭搖搖頭,有點不好意思的說「我大概只能說好聽或不好聽,評分的話 … 可能沒辦法」。其實不止她,我自己也沒辦法,因為這不是我平常接觸的專業。「那一篇文章呢?如果我們對一篇文章好不好來評分,有辦法嗎?」。芋頭點點頭,因為我們雖然不算專家,但是一篇文章寫的好不好,大概還是有點感覺。是不是通順?有沒有結構邏輯?有沒有內容?夠不夠感人?我們總是還能有一些感受。因此大概可以判斷一篇文章是寫的好?還是非常好?或者是有點沒內容?還是非常爛?這我們總是有能力可以做的到的。

「所以,我們越熟悉一個主題,才能夠越精密做出仔細的評估跟評分」我接著說。像古典音樂這個領域,一般人大概只能說出「好聽/不好聽,或是沒意見三個等級」,而如果一般的主題,像是一篇文章寫的如何?或是一個課程教的好不好,我們大概可以再更仔細的區分出「很好/好,或是不好/很不好,以及沒意見」這幾個等級。如果評估的等級越多,要不就是評估者對這個主題極為專業,可以區分出極為細微的差別。要不就是已經有標準答案,譬如說 10 個題目中對了5個答案。像這樣的情形下,才能用10分等級或更高等級的評分標準。

我告訴芋頭,像是課程好不好這樣的感受評量,還是以 5 等量級數的問卷來評量,才能得到更真實的意見回饋。雖然關於量表的設計及評量,還可以做更深入的學術探討(馬上回想到到博士班研究方法-方老師在課堂上的教學)。但是一般的運用,相信上面幾個例子大家就可以理解。芋頭點頭表示理解,我接著說「當然量表的分數只是用來參考,進一步還要收集學員真實的意見,才能夠有更好的改進依據」

聽懂了之後,芋頭馬上接著引申:「嗯,就好像一個不準的磅秤,不能拿來當做減肥的參考啊,是不是這個意思呢?」噫?這個說法 … 好像有點影射哦 … 哈哈!

註:試著用通俗一點的說法,來談一下課後問卷衡量尺度的專業主題。謝謝我博班指導教授方老師的指導及觀念釐清。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料