Разработчик "Мультипсихометра" Константин Сугоняев (Институт психологии Российской академии наук, Москва), Юрий Радченко и Александр Соколов (Военная академия Генерального штаба ВС РФ, Москва) представили результаты психометрического анализа масштабного массива данных.
Использованы данные, собранные в период с 2012 по 2017 г. на сайте www.mil.ru, где размещена система самотестирования граждан, проявляющих интерес к военной службе по контракту в Вооруженных Силах Российской Федерации.
Данные полученны в условиях добровольного интернет-тестирования, который включал результаты выполнения методики КОТ-30, зарекомендовавшей себя в условиях контролируемого обследования как надежный индикатор общей когнитивной способности.
Статья "Добровольное интернет-тестирование как источник валидных оценок группового психометрического интелекта", была опубликована в Сибирском психологическом журнале №69 в 2018 году.
Широкое распространение персональных компьютеров в последние три десятилетия позволило перенести компьютерную психодиагностику в России из научных лабораторий в общественную практику, прежде всего в тех сферах, где психологическое тестирование в силу необходимости носит массовый характер [1].
Неудивительно, что одним из пионеров компьютеризации практической психодиагностики в России стало Министерство обороны, где широкое внедрение компьютерных технологий – первоначально в сфере психологического отбора, а затем и психологического сопровождения деятельности военнослужащих – началось уже в конце 1990-х гг. [2, 3].
Преимущества компьютеризации психодиагностики (равно как и возможные издержки, проистекающие из чрезмерного увлечения процессом в ущерб содержанию) уже неоднократно и детально обсуждались в литературе [1, 4], что избавляет нас от необходимости вновь возвращаться к обсуждению этих вопросов.
Развитие и широкое проникновение современных информационных технологий, прежде всего глобальной информационной сети Интернет, формирует новые вызовы, но и представляет новые, недоступные ранее возможности для расширения круга потенциальных респондентов, поскольку открывает доступ к тестовым процедурам в удобное для них время и в удобном месте при минимальных затратах для бенефициара.
Благодаря этому интернет-тестирование не только быстро стало элементом мероприятий рекрутинга и начальных этапов отбора персонала [5], но со временем превратилось в важное средство получения научных знаний, в том числе относящихся к сфере общей и дифференциальной психологии [6].
В результате в психологической литературе в последнее десятилетие стали публиковаться результаты исследований, выполненных в относительно короткие сроки на выборках, насчитывающих от нескольких десятков тысяч до миллионов респондентов [7, 8].
Хотя в России также реализуются сходные по направленности проекты (например, «Клуб испытателей тестовых технологий», учрежденный компанией «Гуманитарные технологии» [1. С. 393]), отечественные публикации, основанные на интернет-опросах, пока еще уступают по охвату аудитории зарубежным аналогам.
Следует отметить, что интерес к данным, полученным на больших выборках, дополнительно стимулируется обескураживающе низкой воспроизводимостью результатов, полученных на более «традиционных» для академической психологии немногочисленных студенческих выборках.
Именно поэтому включение в научный анализ данных, полученных в рамках программ добровольного интернет-тестирования, рассматривается некоторыми авторами как одно из средств преодоления «кризиса воспроизводимости» в психологии [10].
Однако вопрос о валидности полученных с помощью неконтролируемого интернет-тестирования (НИТ) данных продолжает оставаться предметом дискуссий.
Если в отношении личностных инструментов получены достаточно убедительные свидетельства высокой степени измерительной эквивалентности данных, полученных в разных форматах обследования (бумажно-карандашном, компьютерном диалоговом, НИТ) [11–13], то к когнитивным тестам отношение исследователей гораздо более настороженное.
Практически единодушно считается, что результаты выполнения когнитивных тестов в условиях НИТ могут легко фальсифицироваться, вследствие чего их результаты требуют перепроверки в контролируемых условиях [1, 5];
данная норма закреплена, в частности, в п. 45.3 стандарта Международной тестовой комиссии [14].
Следует, однако, подчеркнуть, что данное предостережение относится к индивидуальным результатам и представляется обоснованным в аттестационных (high stake) ситуациях при принятии персонализированных решений.
В то же время сравнительно мало известно о том, насколько оправдана подобная настороженность по отношению к групповым результатам, полученным в условиях самопознания.
Есть основания полагать, что собранные в подобных условиях данные могут быть вполне пригодными для использования в решении как практических, так и некоторых фундаментальных вопросов, стоящих перед современной психологией [6, 9, 15].
Немногочисленные исследования сопоставимости групповых результатов выполнения когнитивных тестов, полученных в условиях традиционного администрирования и НИТ, демонстрируют противоречивые результаты: одни тесты характеризуются высокой степенью сопоставимости результатов, другие нет [16–18].
Обращает на себя внимание ограниченность используемых при этом методов оценки сопоставимости результатов тестирования, которые в большинстве случаев сводятся к сравнению мер центральной тенденции, вариативности и одномоментной надежности интегральных тестовых оценок.
В 2012 г. при участии авторов статьи на официальном сайте Минобороны России www.mil.ru в разделе, посвященном военной службе по контракту, была размещена система интернет-тестирования, включающая три психометрических методики (когнитивную, личностную и мотивационную)
и алгоритм оценки индивидуальных результатов, настроенный на скрининг лиц, имеющих явные противопоказания к подобной службе [19].
Цель размещения системы – привлечь внимание граждан, интересующихся перспективой военной службы по контракту, к тому факту, что Минобороны России нуждается в качественных человеческих ресурсах.
Особенностью системы является то, что тестирование носит добровольный и анонимный характер, интерпретация его результатов доводится только до самого респондента и не учитывается в последующих отборочных процедурах, т.е. данная процедура была спланирована и реализована как элемент рекрутинга, а не отбора.
К концу 2017 г. данный раздел сайта посетили несколько сот тысяч человек, большинство из которых выполнили хотя бы одну методику.
В частности, было получено свыше 260 тыс. протоколов выполнения когнитивного теста (КТ), содержащих некоторые социально-демографические данные о респонденте, итоговую оценку успешности выполнения КТ и ответы на отдельные задания.
Поскольку столь большой массив данных выполнения одного КТ в сопоставимых условиях интерактивного интернет-тестирования, охватывающего все регионы страны, был аккумулирован в России, возможно, впервые,
представлялось весьма заманчивым оценить его пригодность для решения некоторых актуальных вопросов, в частности оценки качества региональных когнитивных ресурсов [20,21].
Для достижения этой цели мы обратились к способам доказательства валидности оценок КТ, основанным на внутренней структуре теста и соотношениях с доступными внешними переменными.
В качестве последних были использованы данные, которые сообщал о себе респондент в ходе регистрации, а именно дата рождения, место проживания (страна, регион, населенный пункт) и уровень образования.
Исследование выполнялось в два этапа.
На первом этапе были исследованы психометрические характеристики интегрального массива оценок выполнения КТ, их связь с возрастом и образовательным уровнем респондентов, предпринята попытка оценить долю повторных прохождений КТ и степень их влияния на групповые индексы.
Также был осуществлен качественный анализ идентифицирующей респондента информации с целью определения наиболее вероятных угроз ее достоверности.
На втором этапе комплекс количественных индексов, характеризующих результаты выполнения КТ в условиях НИТ, был сопоставлен с аналогичными индексами, рассчитанными по результатам выполнения этого же и пяти других тестов в условиях контролируемого обследования в диалоговом или бланковом формате.
Дополнительные тесты, для которых имелись достаточно большие массивы данных, были использованы в нашем исследовании для того, чтобы обеспечить интерпретируемость полученных оценок конгруэнтности.
В сопоставление были включены результаты выполнения тестов как в общем формате (бланк–бланк или диалог–диалог), так и в разных (бланк–диалог).
***
Результаты исследования К.Сугоняева, Ю.Радченко, А.Соколова позволяют сделать вывод о возможности использования массива НИТ-данных с сайта www.mil.ru для изучения групповых психологических феноменов.
Продолжение следует.
Литература (в сокращении).
1. Шмелев А.Г. Практическая тестология. Тестирование в образовании, прикладной психологии и управлении персоналом. М. : Маска, 2013. 688 с.
2. Использование новейших информационных технологий в мероприятиях по профессиональному психологическому отбору в Вооруженных Силах Российской Федерации : материалы научно-практической конференции (Москва, 2–3.10.2002 г.). М. : ГШ ВС РФ, 2003. 248 с.
3. Компьютерная психодиагностика в профессиональном психологическом отборе военных специалистов РВСН : учеб.-метод. пособие / под ред. К.В. Сугоняева. М. : ЦИПК РВСН, 2005. 184 с.
4. Соколов А.А. Перспективы автоматизации профессионального психологического отбора в Вооруженных Силах Российской Федерации // 20 лет функционирования системы профессионального психологического отбора в Вооруженных Силах Российской Федерации, итоги и перспективы совершенствования : сб. мат. военно-науч. конф. (Москва, 22 апреля 2014 г.) / под общ. ред. С.В. Чваркова. М. : ВАГШ ВС РФ, 2014. С. 87–95.
19. Радченко Ю.И., Сугоняев К.В. Разработка тестового комплекса для Интернет-самотестирования потенциальных кандидатов на военную службу по контракту // Актуальные проблемы психологического обеспечения практической деятельности силовых структур : сб. мат. 3-й Всерос. науч.-практ. конф. СПб. : С.-Петерб. им. В.Б. Бобкова филиал РТА, 2014. С. 317–324.
Источник: http://journals.tsu.ru/uploads/import/1743/files/69_006.pdf
Комментариев нет:
Отправить комментарий