Изследователски методи за измерване; EWST Превод
Въпреки че младите ИТ изследователи са информирани, че трябва да представят резултати от изследванията, не са посочени точни изисквания. Вместо това изследователите обикновено се насърчават неясно да получат нещо „значимо“ или „да имат висококачествени публикации“ без точно обяснение какво означава това.
За младши изследовател може да изглежда, че сред възрастните хора има конспирация - че те имат таен метод за оценка на изследванията, но не са склонни да го разкрият. В крайна сметка може да чуете неясно твърдение, като например: „Изследването означава просто натрупване на знания“ или по-малко интелигентно: „Трудно е да се дефинира, но познавам добри изследвания, когато ги видя“.
Причината, поради която по-ниско член на персонала не може да получи по-точно обяснение как да се измерват научните изследвания, е, че няма единно обяснение. Вместо това има различни мерки - всяка група е склонна да използва мярка, която максимизира целите. Всъщност, някой иска да направи точка за или срещу човек, той избира мярка, която да помогне.
Ако сте младши изследовател, това ръководство е за вас.Той изброява мерките, обяснява всяка една и дава реалните факти. Познаването на списъка ще ви помогне да впечатлите другите, когато говорите за изследвания и ще ви помогне да избегнете клопки.
Дневник хартиен подход
(предпочитано от редакторите на списания)
Мярка: N, общ брой публикувани статии.
Мотивация: Изследовател, който генерира нова идея, пише статия, която след това се преглежда от колеги и се публикува в архивно списание. По този начин броят на произведенията е мярка за производителност.
Факти: Стандартите за публикуване варират значително, като някои конференции и списания приемат всички коментари, а други приемат само няколко. По-важното е, че почти всички изследвания са безполезни; никой не чете документите. (Едно проучване изчислява, че средно дадена научна статия се чете от .5 души, като броят се накланя нагоре с няколко статии, прочетени от хиляди).
Предупреждения: Въпреки че те твърдят друго, мандатните комисии използват тази мярка, защото е много по-лесно да преброите документите, отколкото да оцените техните достойнства. Имайте предвид, че хората със сива коса са особено обичани от тази мярка, защото печелят чрез цитиране - тяхната лична стойност е много по-висока от тази на млад изследовател. Когато използвате тази мярка, не се хвалете със съавтора, защото кредитът намалява, когато дадено произведение има множество автори.
Приближаване на темпото на публикуване
(предпочитано от млади изследователи)
Мярка: N/T, общо съотношение на публикуваните произведения до момента на публикуване.
Обосновка: броят на докладите е недостатъчен, тъй като не измерва производителността - ако изследователят публикува 10 статии за една година, това е изключително продуктивно, но ако публикува 10 статии за цял живот, те са изключително непродуктивни.
Факти: Процентът на публикуване на изследовател варира във времето; истинските пикове се появяват точно преди дадено лице да бъде разгледано за повишение и процентът обикновено спада драстично в годините преди пенсиониране. По този начин, като стар изследовател, те вече не говорят за N/T и се връщат към измерването на N. Внимание: Управителните комитети са загрижени за всеки, който цитира тази мярка. Плюс това, бъдете реалисти - куп кафяви момчета няма да ви възнаградят за висок процент, когато самите те са изправени пред спад, който е спаднал.
Претеглен подход към публикуването
(за предпочитане от агенциите по акредитация)
Мярка: W, сумата от теглата, определени за публикуваните произведения.
Обосновка: Тъй като някои статии са по-интелектуално постижение от други, всяка книга трябва да има тегло, съизмеримо с нейното качество. Вместо да се броят хартиите, трябва да се използва сумата от тежестите. Например, не-изследователски статии могат да имат нулево или почти нулево тегло.
Факти: Вместо да оценяват всяка отделна хартия, хората, които използват този метод, присвояват тежест на всеки дневник според неговия престиж и след това използват стойността за всяка хартия, която се появява в дневника. Разбира се, престижът на списанието варира във времето и няма списание, в което всички произведения да са с еднакво качество, но изглежда, че това няма значение. Красотата на мярката е, че при набор от публикации можете да избирате тежести, за да изглежда списъкът добър или лош.
Предупреждение: Когато обсъждате тази мярка, имайте предвид, че изборът на тежести е произволен и че докато човек може да представи доказателства, които да обосноват избора си, в крайна сметка изглежда, че всички предпочитат набор от тежести, който дава на личната реклама висок ранг.
Милиони маймуни се приближават
(за предпочитане от правителствените агенции)
Мярка: G, общата сума на парите на данъкоплатците, разпределени за изследвания.
Мотивация: При достатъчно дълго време произволен набор от изследователи, удрящи клавиатури, в крайна сметка ще напише доклад за нещо, което ще бъде от полза за страната. За да стимулира повече изследователи да произвеждат повече статии, правителството събира предложения и дава пари в най-добрия процент. “Така че даването на повече пари ще стимулира повече статии, което ще увеличи ползата за страната.
Факти: Системата за отпускане е по-близка до лотария, отколкото до национална изгода. За да гарантират, че всичко е "равно", държавните агенции често следват политически дневен ред, което означава, че вероятността за получаване на безвъзмездна помощ може да зависи от фактори като размера на институцията, географското местоположение, расата и пола. В екстремни случаи кандидатът ще получи писмо, в което ще го информира, че е избран за безвъзмездна помощ, но трябва да прегледа предложението си, тъй като научното съдържание е неприемливо.
Внимание: Не го приемайте лично по един или друг начин - държавна субсидия не означава непременно, че имате страхотна идея, нито отказването на държавна субсидия означава, че идеята няма стойност.
Подход на прякото финансиране
(предпочитано от ръководителите на отдели)
Мярка: D, общите невъзстановими средства, получени от изследовател.
Обосновка: Изследователите, на които са отпуснати безвъзмездни средства за научни изследвания, трябва да имат добри идеи (или отпускащата агенция не би присъдила парите). По този начин повече пари трябва да означават повече идеи.
Реални факти: Ръководителите на отдели се интересуват само да впечатлят деканите и ръководителите на отдели в други институции - те обичат да се хвалят с общата сума на невъзстановими средства, донесени от всички членове на техния отдел. За съжаление размерът на невъзстановими средства, които могат да бъдат събрани, зависи повече от наличната сума, отколкото от качеството на предложеното изследване. Правителствата дават повече, когато гърдите им се препълнят (или когато имат някакво политическо предимство); индустрията предлага много повече, когато печалбите са високи (или когато могат да получат освобождаване от данък).
Предупреждение: Отново не четете твърде много в безвъзмездните средства - без значение кой казва, че сумата, която получавате (по-малко или по-малко) не винаги е пропорционална на качеството на вашите идеи.
Метод на непряко финансиране
(за предпочитане от университетските администратори)
Мярка: О, общо генерираните долари.
Обосновка: Когато на изследовател се присъди N долар държавни пари, 1/3 от тях се определя като „непреки разходи“ или „режийни разходи“, които плащат за офис площи, електричество и отчитане на направените разходи. Режийните разходи са мярка за обема на изследователя в институцията.
Факти: Офис площите са необходими със или без субсидия, а големите изследователски институции вече имат счетоводни процедури и системи. По този начин косвените разходи са само един от начините институцията да изтегли пари от фондове за научни изследвания.
Предупреждение: Даренията за оборудване са освободени от косвени разходи, така че не се хвалете на администратор с голяма безвъзмездна помощ - те няма да бъдат впечатлени. Също така имайте предвид, че непреки разходи се генерират, когато парите са похарчени, а не когато са присъдени. По този начин, ако похарчите пари през януари, вместо през декември, разходите ще бъдат включени в новата година, а не в старата.
Долен ред подход
(за предпочитане от лабораториите за промишлени изследвания)
Мярка: P, печалбата, генерирана от патенти или продукти, получени в резултат на изследвания.
Мотивация: Индустрията създава изследователска лаборатория в полза на бизнес единиците, а не просто като начин за изразходване на прекомерна печалба. По този начин в индустриалния свят е логично изследването да се измерва по начина, по който помага на дъното.
Реални факти: Почти нито едно изследване няма реално влияние върху печалбите на компанията. Дори ако дадена изследователска идея се превърне в продукт, генерираните приходи зависят много повече от маркетинга, отколкото от качеството на основната идея (дори има някои доказателства за обратна връзка между качеството на продукта и печалбата).
Предупреждение: Доходът е ужасна мярка за качеството на изследванията, тъй като глупавите или тривиални идеи често генерират най-голяма печалба; не приемайте, че една идея има научни достойнства само защото печели пари и не означава друго, ако няма.
Оценка на въздействието
(предпочитано от изследователи, които всъщност правят нещо)
Заключение
Ако вашето изследване не изглежда добре в текущата мярка, може би е време да промените мярката!