Отношение к контент-анализу. Анализ общественного мнения в соцмедиа

Здравствуйте, уважаемые читатели блога о контент-анализе!

Все чаще меня тревожит мысль — тематика контент-анализа не особо интересна приблизительно половине аудитории моего блога, а именно — студентам (а также аспирантам). Это довольно парадоксально звучит, но, предполагаю, что это именно так: эта часть аудитории блога (очень любимая мною, надо сказать 🙂 )заходит на мой блог, потому что им не нравится контент-анализ. Им хочется как можно быстрее с ним расквитаться  и потом желательно даже и не вспоминать о ужасах, ассоциирующихся у них со страшным зверем по имени контент-анализ. Тяжкие медленно тянущиеся часы и дни, впустую потраченные на задание преподавателя, на бессмысленное и примитивное мучение — кодирование и очень приземленный анализ закодированного массива контента. Вот какое-то такое мнение/впечатление о КА у половины аудитории блога 🙂 Это была моя гипотеза.

Как я уже писал ранее (несколько постов назад) — актуальной задачей сегодня мне видится обновление формата информации, преподносимой мною на блоге. Информация должна быть максимально полезна для решения наиболее популярных задач (в рамках тематики сайта) и одновременно с этом — она должна быть представлена так, чтобы ни в коем случае не отпугивать аудиторию, а напротив — быть конгруэнтной ее предпочтениям в формате материала.

И вот у меня возникла мысль — для корректирования формата материала имеет смысл лучше узнать отношение аудитории к предмету обсуждения на блоге — собственно к контент-анализу. Быть может, это наведет на те или иные полезные мысли в отношении надлежащего формата материала. Ясен пень, что общее негативное отношение к КА сменой формата не изменить. Однако, есть вероятность формирования более лояльного, более заинтересованного отношения к нему, а это уже что-то 🙂

Около месяца назад я решил провести небольшое исследование, которое позволило бы определить отношение к КА. Составил запрос для поиска по блогам от яндекса:

контент /+1 анализ

Потом еще 2 (в яндекс блогах можно просмотреть только 100 страниц поисковой выдачи):

контент /+1 анализ date:<20140617

контент /+1 анализ date:<20140117

Скачивание текстов начал 6 марта 2015. Период скачанных публикаций — с 1 января 2014 по 6 марта 2015. Скачивал я только те публикации, в которых звучало отношение к контент-анализу, а не абы какие. Хотя бы слабо выраженное, но отношение. И не цитирование публикаций для реальных изданий, не для соцмедиа. В большинстве публикаций не заявляется отношения, а констатируется факт проведения замера, либо что-то говорится о самом методе в нейтральном ключе (метод такой-сякой, предполагает то-то сё-то, реализуется так-то сяк-то и пр). В общей сложности я просмотрел 2240 публикаций о контент-анализе, из которых 165 содержали оценочные суждения об объекте. При этом меня не интересовали репосты, так как я хотел получить только уникальные публикации. Замер в большей мере носит качественный характер, нежели количественный (в частности в силу игнорирования репостов с трудом можно говорить о частотном распределении оценок — ведь респостов много). Не стоит говорить и о доли оценочных суждений об объекте в общей массе публикаций о КА: опять же в силу игнорирования перепечаток. Однако, правильнее всё же было бы скачать все посты, дабы говорить и о частотах. Ну да и фиг с ними. Мне интереснее было увидеть ключевые доминанты в оценках и узнать, за что конкретно ненавидят контент-анализ (и вдруг — обожают), попробовать построить простую модель отношения к КА, посмотреть варианты отношения.

Как я уже писал ранее, теперь данные всех замеров будут пополнять базу данных, в который будут доступны для загрузки все рабочие файлы (авось кому пригодится или кто-то увидит мегакосяк в моей работе. Или захочет ее продолжить и пр пр пр). Вот ЗДЕСЬ находится БД с файлами. Для скачивания надо иметь аккаунт дропбокс.

Замер реализован очень просто. Вначале проведен сбор (уже писал про это выше). Анализ похож на подход обоснованной теории (Grounded Theory). Эта работа проведена в Dedoose.

Пару слов о распределении публикаций по месяцам. 2015 год придется опустить, так как там я не фиксировал месяц. В общем, можно это сделать, но, полагаю, ни к чему. Хватит и 2014. НА диаграмме ниже видно, что интерес к контент-анализу резко повышается в конце календарного и учебного года — это сессии, зачеты, курсовые, дипломные работы… Можно предположить, что заметная доля аудитории (как минимум, выражающей свое отношение в соцмедиа к КА — студенты). В общем, это и так ясно, но, всё равно, ниже пруф (хотя выборка и мала).

В самом конце, уже заканчивая писать этот пост, я решил покодировать тональность публикаций. Вот какое распределение кодов это дало:

По матрице code co-occurence мы можем увидеть, что негатив в первую очередь связан с кодом «критика КА без уточнения основания», а позитив  с кодом «реальный, полезный, точный научный инструмент». Про тональности, думаю, больше не надо. Хватит с них. А обозначенные коды рассмотрим ниже.

Вот как строился замер:

Вначале открытое кодирование (open coding). Выявил основные варианты отношения к КА в несколько итераций кодирования всего массива текстов (6 раз возвращался к началу и пересматривал систему кодов, добавлял, удалял коды, как и полагается в общем). Вот итоговый список кодов, полученный в результате открытого кодирования:

1. сарказм/ирония над ка
2. ка долгий, затянутый по времени
3. сложно подступиться и начать ка
4. полноценный ка
5. простой быстрый поверхностный ка
6. банальный
7. так называемый ка
8. ка это что-то сложное непонятное неизвестное
9. автор расшифровывает, что такое ка
10. ка сложный (не долгий, а именно сложный)
11. ка классический традиционный метод
12. ка это новый метод (современный)
13. ка реальный, полезный, точный, научный инструмент
14. ка не нужен (то есть можно и без него)
15. критика ка без уточнения основания
16. тщательный, скрупулезный ка
17. ка увлекательный и интересный
18. ка, как нечто неприятное, от чего хочется уйти
19. критика конкретной реализации КА
20. ка это серьезное занятие, а не примитив и развлечение
21. софт для ка
22. масштабный ка — ка большого объема работы
23. ка примитивный или слишком простой
24. ка недооценен. его возможности шире
25. сложный (complicated)
26. ка как ДОП техника, а не основная
27. скучный утомительный
28. ка дает мало результатов
29. ка востребованный метод
30. незнание простых основ ка или просто неумение провести ка

Что-то из этих кодов можно объединить, но это не особо просто. Так что пусть список остается таким, какой он есть. Поменяться что-то может только в самых малозначимых кодах. Самое же важное можно посмотреть, сформировав в DEDOOSE облако кодов (рекомендую кликнуть на картинку, так будет смотреться по эстетичней и читабельней):

 

AXIAL CODING (Осевое кодирование). Я попробовал объединить коды в категории, как это принято в GT, да и вообще принято. Градация довольно спорная, но даже и с моей явно кривой системой категорий уже проще воспринимать результаты работы. Я сгруппировал коды в 4 категории (ДУ — дубли кодов, попавших более, чем в одну категорию):

 

Категория 1: полезность / продуктивность // тут все про то, как много результатов дает КА, как полезны его результаты (любого объема), то, как ценятся эти результаты и нужны ли они в принципе (или нужны в первую очередь, как ни что другое)
— ка  реальный полезный точный научный инструмент
— ка не нужен (то есть можно и без него)
— ка дает мало результатов
— ка востребованный метод
— ка недооценен. его возможности шире
— ка как ДОП техника, а не основная

Категория 2: эмоциональность (нерациональное отношение) — тут коды, в первую очередь маркирующие нерациональное отношение к КА. При этом они могут быть привязаны и к рациональным аспетам.
— сарказм/ирония над ка
— сложно подступиться и начать ка
— так называемый ка
— критика ка без уточнения основания
— ка увлекательный и интересный
— ДУ ка долгий, затянутый по времени
— ДУ скучный, утомительный
— банальный
— ка как нечто неприятное, от чего хочется уйти
— ка это серьезное занятие, а не примитив и развлечение
— ка это что то сложное, непонятное, неизвестное
— полноценный ка
— ДУ ка примитивный или слишком простой

Категория 3: аспекты процесса проведения . Здесь всё, связанное не с результатами применения КА, а с самим процессом.
— ДУ ка долгий, затянутый по времени
— критика конкретной реализации КА
— сложный complicated
— масштабный ка — ка большого объема работы
— ДУ скучный, утомительный
— ка сложный (не долгий, а именно сложный)
— ДУ ка примитивный или слишком простой
— простой, быстрый, поверхностный ка
— тщательный, скрупулезный ка
— ДУ ка примитивный или слишком простой
— незнание простых основ ка или просто неумение провести ка

Категория 4: Не о самой практике КА. Тут коды, маркирующие не характеристику КА как практического метода, а описывающие его с других сторон (точнее, практическая сторона находится на периферии характеристики).
— автор расшифровывает что такое ка
— ка классический традиционный метод
— ка это новый метод (современный)
— софт для ка

Ниже частотное распределение текстов по категориям:

Кстати, частоты по родительским кодам (те, что на диаграмме названы категориями) в Dedoose автоматизированно посчитать не получилось — потому что родительские коды тоже нужно использовать при кодировании. Иначе, по ним не считается распределение. Кажется, об этом писали на блоге Dedoose, но точно не помню, врать не буду. На мой взгляд — это стремно. В ATLAS.ti — можно считать по родительским кодам, например. А еще очень может быть, что я просто недоглядел, и такая возможность на самом деле есть.

SELECTIVE CODING (выборочное кодирование)

Вот честно… Я с трудом представляю себе реализацию выборочного кодирования в GT применительно к этому замеру… Но, попробую, однако ж.

КА — прикладной инструмент исследований, а не теоретическая дисциплина, область знания и т.д. Именно этот код звучит везде (в соцмедиа). НИКТО не описывает проблемы теории КА. Все либо критикуют, либо положительно или нейтрально описывают именно ПРАКТИКУ ПРИМЕНЕНИЯ метода. (это характерно даже для четвертой категории в моей модели)

Полагаю, это тот самый единый для всех текстов код. Идем дальше

О контенте подробнее:

Давайте посмотрим на 9 самых частотных кодов (полная выгрузка частот кодов находится в БД — ссылка выше):

КОД	ЧАСТОТА
простой, быстрый, поверхностный ка	40
ка   реальный полезный точный научный инструмент	33
сарказм/ирония над ка	20
критика ка без уточнения основания	16
ка долгий, затянутый по времени	14
ка как нечто неприятное, от чего хочется уйти	14
полноценный ка	10
ка примитивный или слишком простой	9
скучный, утомительный	9

Самый частотный код — «простой, быстрый, поверхностный ка». На эту позиции в отношении КА трудно было не обратить внимание. Очень и очень часто в соцмедиа звучит следующее: «бла бла бла… я провел БЫСТРЫЙ контент-анализ, бла бла бла», или «»бла бла бла… я провел ЭКСПРЕСС (или БЛИЦ) контент-анализ, бла бла бла». Или звучит что-то типа «даже ПОВЕРХНОСТНЫЙ КА дает понять, что бла бла бла». Таким образом, этот код — НЕ НЕГАТИВНЫЙ, А НЕЙТРАЛЬНЫЙ (в отличие от кода «ка примитивный или слишком простой»). Речь идет о том, что зачастую проводится «быстрый» или «простой» контент-анализ. Его достаточно, чтобы получить актуальный результат. Достаточно? Не знаю… Полагаю, дело не в этом. Под «простым» или «быстрым» (и пр.) контент-анализом подразумевается чтение по диагонали или не подразумевается ничего конкретного вообще… Предполагаю, что значительное большинство писавших это просто не знает либо того, как в принципе проводить КА, либо обладает лишь очень базовыми навыками его проведения. Но повторюсь: скорее всего, речь «ни о чем» или о чтении по диагонали, а «контент-анализ» —  просто красиво и умно звучит. Пожалуй, экспортирую конкретные примеры текстов, маркированных этим кодом (вставляю в пост скрины — чужой текст постить желания нет):

Все тексты, закодированные этим кодом (как и другими, можно посмотреть в БД).

Вот такой интересный код: все проводят не контент-анализ, а блиц или экспресс КА. Как проводят — тайна… Главное, что делают это молниеносно. Одна важная черта характерная для текстов, соответствующих данному коду (резюмирую сказанное авторами постов и комментариев): Контент-анализ — полезный метод. Даже если он сделан просто, очень базово — он всё равно дает полезные/интересные/нетривиальные результаты. При этом важно — контент-анализ используют как метод, актуальный для решения очень простых задач. Почему только простых? Не знаю… Или авторам неизвестно, как проводить контент-анализ более продвинутыми способами, или контент-анализ просто только и годится, что для решения простейших задач.

Вот какие характеристики приписывают контент-анализу в рамках этого кода (нарисовал майнд карту с очень простой группировкой характеристик-цитат КА — лучше кликнуть по картинке, чтобы что-то увидеть):

По простоте контент-анализа, пожалуй, пока что хватит. Вернемся позже к простоте, но уже к простоте-примитивности метода.

Двигаемся дальше. Снова не негативный код (честно говоря, я ожидал в топе именно негативных характеистик метода. Но они еще впереди))). Контент-анализ — реальный, полезный, научный и точный научный инструмент. Совсем позабыл, что подразумевал под словом РЕАЛЬНЫЙ. Скорее всего, речь о том, что метод действительно существует и существует, как реальный метод, а не абы что 🙂 Главное, что он полезный, научный и точный — это наиболее существенные характеристики этого сегмента позиций в отношении КА. Думал, стоит ли делить этот код на субкоды (для каждой из перечисленных в названии характеристик) — не стал. Полагаю, а данном контексте это нормальное органичное сочетание свойств кода.

Здесь звучат такие характеристики КА, как (вначале майнд картой покажу — вдруг неудобно читать все характеристики, понакиданные в одну кучу):

«точный КА»; КА — как метод работы профессионалов; «незаменимый инструмент успешного бизнеса»; КА, как научный метод, «который раньше и не грезился обществоведам» (тут, правда, как бы и сарказм и одновременно реальная позиция некоторого субъекта); «профессиональный и грамотный КА», дающий «объективную картину»; КА упоминается в связке с точными науками, математикой, исследователя ждет «много еботни со статистикой» и пр, и характеризуется он как полезный метод; подчеркивается логичность КА; упоминается полезность КА в разведке; просто как «крутой» метод, опять же речь о полезности; говорится о больших перспективах более эффективного использования КА; о «неоспоримости» результатов КА; немного иронии — КА — просто что-то умное; КА — страшная сила; КА — «прикладная герменевтика в действии»; КА как средство предсказания войн 🙂 ; КА — «как метод выявления лженауки»; ну и просто полезный, точный и научный метод этот КА.

Третий по значимости код (помним о величине нашей скромненькой выборки) с частотой 20 (из 165 публикаций) — ирония и сарказм в отношении КА.

Здесь КА именуют «сложнейшим» (якобы сложнейшим); процесс разглядывания страниц в ВК в шутку называют КА; процесс КА называют «минуткой КА»; вот так стебутся: «Говорят, это лучшая программа для контент-анализа, известная даже за пределами Солнечной системы.»; упоминается контент-анализ «с помощью дуршлага» — (хотя это не о КА в общем, а о проводившем его); именуют КА «великим и ужасным»; цитата «Например, согласно контент-анализу на advego.ru мысли композиторов на 80,2% состоят из воды.»; ну и скрин с еще чем-то саркастически-ироническим:

В принципе, резюмировать по коду особо нечего почти. Смеются над полезностью/научностью метода, над объективностью результатов. Все цитаты с кодом — в БД.

Следующий код: критика КА без уточнения основания.

Учитывая то, что основания, действительно, либо не представлены, либо не определены явно, либо просто не попали в созданный мной набор кодов в рамках open coding этапа, то мне особо нечего показать. Примечательно, что наибольшую встречаемость с данным кодом имеет код «сарказм, ирония над ка». Этом можно увидеть по матрице co-occuerence кодов в dedoose. Однако, не стоит забывать про объем выборки! Он явно не репрезентативный для количественного анализа. Скрин лучше открыть в полную величину- он кликабелен.

Код «КА долгий, затянутый по времени».

Код характеризуется упоминанием времени проведенном за контент-анализом. То есть столько-то часов было выброшено из жизни на контент-анализ 🙂 Или была проведена бессонная ночь за контент-анализом. И вот она наконец-то закончилась. Уфффф. Вот как-то так. Естественно, позитивным ключом преподнесения этой драгоценной информации и не пахнет. На скрине ниже немного примеров цитат с этим кодом:

Код «ка как нечто неприятное, от чего хочется уйти».

Смысл публикаций, маркированных этим часто звучащим кодом, сводится к следующему: можно получать от жизни удовольствие, а можно заниматься контент-анализом. Скрины с цитатами привожу:

Код «полноценный ка» пропускаем — просто говорится, что либо проведен полноценный КА, либо он существует в принципе.

Код «КА примитивный или слишком простой«. Популярный упрек. Особо не о чем говорить.

Код «КА скучный, утомительный«. Тоже звучит часто. Вот некоторые цитаты:

Вот такой топ 9 кодов. Думаю, стоит еще привести частоты остальных.

ка это что то сложное, непонятное, неизвестное	8
ка увлекательный и интересный	7
незнание простых основ ка или просто неумение провести ка	7
ка это серьезное занятие, а не примитив и развлечение	6
сложно подступиться и начать ка	6
ка сложный (не долгий, а именно сложный)	5
тщательный, скрупулезный ка	5
банальный	4
масштабный ка — ка большого объема работы	4
автор расшифровывает что такое ка	3
так называемый ка	3
ка классический традиционный метод	2
сложный complicated	2
софт для ка	2
ка востребованный метод	1
ка дает мало результатов	1
ка не нужен (то есть можно и без него)	1
ка недооценен. его возможности шире	1
критика конкретной реализации КА	1
ка как ДОП техника, а не основная	1
ка это новый метод (современный)	1

Некоторые пояснения. Код «так называемый КА» — это критика КА, критика серьезности метода, научности, обстоятельности и пр. Код «сложный complicated» — речь не о трудоемкости контент-анализа, а о его сложной, непримитивной процедуре. Собственно, поэтому и слово complicated в коде. Остальные коды, вроде бы, в пояснениях не особо нуждаются.

Если интересны конкретные цитаты — они в БД (ссылка в меню блога).

На этом всё, пожалуй. Результатов немного совсем, но, в общем, достаточно. Вот такой замер — в принципе, прояснились проблемные места КА и его сильные стороны. Мне интереснее было первое. Теперь стоит решить, как работать с проблемными моментами здесь на блоге — как и что писать.

А еще надо решить — какой исследование и в каком софте проводить дальше. К слову — возможности Dedoose здесь почти не раскрыты. Я использовал его просто для кодирования цитат (не целых текстов), подсчета частот и еще для всякой ерунды. Функционал же Dedoose намного-намного шире. Так что может быть продемонстрирую позже на других примерах.

Какую тему взять для замера? Почему-то в голове засела мысль об отношении к СТОПХАМу, Отношении к гуманитарному образованию (может быть в сравнении с техническим), отношении к различным профессиям… А вот можно еще к софту QDAS))) Как я понял, получив письмо от читателя, обучение QDA в вузе может вызывать полный ступор и абсолютное непонимание того, как с ним работать (узнал про курс по ATLAS.ti в одном из ключевых московских ВУЗов). Кто бы мог подумать? А это факт. Интересный. Хотя Atlas.ti в основах (а о них речь) несложный.

Всё.

Есть предложения по темам исследований? 🙂 Буду рад их получить в комментариях. Спасибо!

Бай!