Психолингвистический эксперимент: требования, условия, методика проведения Текст научной статьи по специальности — Психология. Требования к экспериментатору

Психолингвистический эксперимент: требования, условия, методика проведения Текст научной статьи по специальности « Психология»

Аннотация научной статьи по психологии, автор научной работы — Раджабова Раиса Васитовна

В статье раскрываются требования к проведению психолингвистического эксперимента как метода исследования . Перечисляются условия и описываются правила выполнения исследования.

Похожие темы научных работ по психологии , автор научной работы — Раджабова Раиса Васитовна,

Текст научной работы на тему «Психолингвистический эксперимент: требования, условия, методика проведения»

?ПСИХОЛИНГВИСТИЧЕСКИЙ ЭКСПЕРИМЕНТ: ТРЕБОВАНИЯ, УСЛОВИЯ, МЕТОДИКА ПРОВЕДЕНИЯ Раджабова Р.В.

Раджабова Раиса Васитовна — старший преподаватель, кафедра языков, Ташкентский институт проектирования, строительства и эксплуатации автомобильных дорог, г. Ташкент, Республика Узбекистан

Аннотация: в статье раскрываются требования к проведению психолингвистического эксперимента как метода исследования. Перечисляются условия и описываются правила выполнения исследования.

Ключевые слова: психолингвистика, эксперимент, требования к эксперименту, методы исследования.

Развитие науки сопряжено с проведением экспериментов, являющихся одним из основных способов для получения научных знаний и открытий. Если говорить о психолингвистическом исследовании [1], то здесь существуют определённые условия, которые необходимо соблюдать:

• организация ситуации для проведения исследования;

• активное вмешательство в смоделированную ситуацию;

• исследователь должен системно манипулировать факторами, это может быть один фактор либо несколько;

• регистрация поведенческих изменений объекта, который изучается.

Эксперименты в психолингвистике, проводятся в соответствии с определёнными

1. Обязательное наличие группы испытуемых. Психолингвистика также как и практическая психология использует понятия «испытуемые», «респонденты» или «обследуемые», но не определение «информанты», которое употребляется в лингвистике [2]. К каждому эксперименту по психолингвистике привлекаются испытуемые, количество которых зависит от цели эксперимента и других условий. Минимумом обычно является тридцать человек, но чтобы полученные данные были более достоверны, рекомендуется привлекать не менее 60 человек в качестве испытуемых. Возрастная категория — от 17 лет до 21 года, так как в данном возрастном периоде обычно происходит завершение формирования личностных языковых навыков и способностей. Эксперименты могут быть индивидуальными или проводиться в группе.

2. Формирование заданий должно осуществляться с учетом всех противоборствующих мнений, которые существуют в теории данного направления исследования. Обязательно наличие специальной инструкции для испытуемых в устном или письменном виде, чтобы выполнять задание. В процессе респонденты выполняют обозначенные задания без привлечения экспериментаторов, чтобы обеспечить более высокую достоверность результата. Число заданий, необходимых для выполнения в процессе эксперимента, также требуется учитывать. Например, в ассоциативном эксперименте используется от 100 до 30 слов-стимулов. Чем больше объем стимульного материала, тем в большей степени эксперимент приводит к усталости, снижению интереса и проявлению реакций экстрасигнального характера.

3. У испытуемых должно быть достаточно свободного времени для прохождения эксперимента. Недостаток времени, внимание, рассеянное текущими проблемами, оказывают непосредственное влияние на итоговый результат проводимого эксперимента. Желательно выбирать для эксперимента утренние часы, когда испытуемые хорошо отдохнули за ночь, находятся в активной фазе

работоспособности, не испытывают чувства голода и находятся в комфортных физических условиях.

4. Любой эксперимент, в том числе и психолингвистический, подразумевает заполнение протоколов, имеющих следующую структуру:

• название, отражающее смысл эксперимента;

• вид представляемых заданий;

• правила, по которым формируется опросная анкета;

• дата, а также время, выделяемое для эксперимента;

• пол, возраст респондентов;

• время, которое было запланировано, и время по факту;

Когда эксперимент проведён, выполняется подсчёт, суммирование, обобщение и интерпретация ответов. Вывод, полученный в результате эксперимента, соотносится с гипотезой, чтобы подтвердить ее или опровергнуть. Однако, следует помнить, что чтобы достичь максимальной адекватности данных, языковое явление необходимо исследовать комплексно, используя различные методики.

1. Раджабова Р.В., Раджабова И.П. Психолингвистические аспекты в изучении английского языка // Достижения науки и образования, 2019. № 4 (26). С. 25-26.

2. Морозова Н.М. А.М. Пешковский о методе лингвистического эксперимента // Проблемы современной науки и образования, 2015. № 12 (42). С. 145-147.

Процедура проведения психологического исследования

Мотивирование отношения испытуемых к эксперименту или психологическому обследованию. Наименьшее число искажений возникает, если испытуемый имеет личный интерес к результатам эксперимента, но не усматривает в информации, которую ожидает получить от психолога, нечто, определяющее его жизнь в широком масштабе. Такой подходящий уровень мотивации бывает, когда у испытуемого есть желание расширить знания о самом себе, испытать себя, проверить. Полезным способом повышения мотивации является обещание рассказать после обработки экспериментальных данных о результатах, дать небольшой комментарий, если потребуется.

Не следует соглашаться на просьбы дать результаты эксперимента или обследования в письменном виде. Письменная психологическая характеристика (заключение психодиагноста, прогноз психолога) по результатам заказанного психодиагностического обследования — это особая тема. Составление письменной психологической характеристики требует квалификации и опыта. Вероятность того, что вы нанесете испытуемому определенную психическую травму при устном сообщении результатов, значительно меньше. При устном сообщении прочнее запоминается то, что понятно. Непонятное в письменном сообщении таит в себе опасность нанести вред, особенно тревожному человеку. Чем более значима полученная информация, тем сильнее активизируются защитные механизмы личности. При этом часть информации, сохранившаяся в памяти, будет затем изменена в желаемую сторону («отретуширована»), а другая — вытеснена из сознания [25, с. 43].

Принудительное участие в эксперименте может сказаться на том, что данные его будут неточны. Если есть предположение о низкой мотивации испытуемых, то надо применять приемы, повышающие мотивацию, например оплачивать участие, вводить соревновательный момент в отношениях испытуемых, повышать эстетическое оформление всей экспериментальной ситуации (обстановки, аппаратуры, стимульного материала и т.д.).

Очень высокая мотивация, заинтересованность в «хороших» результатах часто встречается при профотборе. Следует учитывать, что ее влияние может быть столь велико, что сделает невозможным интерпретацию результатов. Корректировочные шкалы и приемы при этом могут оказаться малоэффективными.

Инструктирование. Немаловажное значение имеет инструкция, которую получает испытуемый. Эта инструкция должна быть одинаковой для всех. Поэтому инструкция должна быть краткой, ясной и лаконичной, не допускающей двойственной трактовки положений. Нельзя, допустим, предложить одному испытуемому работать как можно быстрее, не дав такой же установки другому. Однако это не значит, что всем испытуемым надо инструкцию преподносить в совершенно одних и тех же словах, ничего не изменяя. Экспериментатор должен давать инструкцию в свободном изложении, не забывая при этом ни одного обязательного пункта, создавая у испытуемого все предусмотренные установки к действию.

Важно добиваться не одинакового «звучания» инструкции, а одинаковой степени понимания ее всеми испытуемыми. Если экспериментатор видит, что испытуемый недостаточно хорошо понял инструкцию, он должен повторить (прочитать) ее повторно и добиться полного понимания.

Процедура эксперимента. Эксперимент следует проводить в одном и том же для всех испытуемых порядке. Если шагов эксперимента довольно много, то необходимо иметь под рукой запись их перечня.

Целесообразно вначале предпринять некоторые действия, чтобы настроить испытуемого на эксперимент. Это можно сделать, продемонстрировав к нему интерес, например, задать несколько конкретных вопросов, которые могли бы вызвать расположение к экспериментатору, или выразив свою признательность испытуемому за согласие участвовать в эксперименте.

Далее целесообразно выяснить самочувствие испытуемого. Это особенно важно при исследовании внимания, познавательных и эмоциональных процессов, состояния, психофизиологических реакций. Получить эту информацию можно в свободной форме опроса.

Протокол эксперимента. Для многих экспериментальных ситуаций подойдет такая форма протокола.

Под «сырыми» понимают оценки, которые психолог получает непосредственно в опыте, эксперименте, из листа для ответов на опросник, анкету и т.н. Стандартные получаются после преобразования сырых оценок с помощью таблиц перевода, шкал пересчета, графиков и т.п. В стандартной оценке ответ или результат отдельного испытуемого соотнесен со средними величинами (ответов или результатов) нормативной выборки. Под нормативной выборкой имеется в виду достаточно широкая и репрезентативная выборка, результаты обследования которой автор методики использовал для создания таблиц перевода или шкал пересчета. Стандартная оценка вписывается в протокол уже при его обработке, после эксперимента [25, с. 46].

В графу «Примечание» заносятся вопросы, реплики, высказывания испытуемого, описания поведения испытуемого, внешнего вида и т.д. Если первые пробы показали, что в данной графе недостаточно места, то в соответствующем месте графы делается сноска на запись, а записи ведутся на отдельном листе бумаги.

Пространство в комнате для эксперимента лучше организовать так, чтобы испытуемый не видел, как экспериментатор делает записи. Для этого можно применить невысокие перегородки на столе или вести запись с использованием планшета, который опирается на стол или расположен вне плоскости стола.

После окончания эксперимента надо попросить испытуемого сообщить о своих самонаблюдениях по ходу эксперимента, т.е. о своих мыслях, чувствах, образах, возникавших предположениях, намерениях, вариантах и т.д. Не следует навязчиво просить испытуемого записать отчет в письменной форме. Вы можете получить от него отчет (далеко не всегда), но очень часто потеряете много ценной информации, если будете полагать, что в нем записано все, что испытуемый может сообщить. Для многих людей излагать на бумаге любые свои соображения и воспоминания труднее, чем высказывать в устной форме. Люди при этом нередко переключают основное внимание на форму построения фраз, грамматическую правильность и т.п. Таким образом, лучше самому записать сообщения испытуемого, не редактируя их. Вопросы надо задавать с осторожностью, поскольку ими можно увести испытуемого в свою систему интерпретаций или помешать припоминанию. Целесообразнее или использовать один и тот же для всех испытуемых набор вопросов (во всяком случае, начинать с такого набора), или применять простые вербализации, под которыми имеются в виду приемы ведения беседы с использованием пересказа только что услышанного — дословного или с некоторыми изменениями и сокращениями, для того чтобы удерживать внимание испытуемого на предмете разговора [25, с. 47].

Разрабатывая форму протокола, следует учитывать особенности экспериментальной процедуры и в неменьшей степени простоту и удобство обработки результатов. Чем меньше операций в ручной обработке данных, тем меньше вероятность ошибок и искажений. В любом случае данные из протоколов заносятся в сводную таблицу, составленную первоначально в рукописном варианте (форма таблицы представлена ниже), затем составляется ее электронная версия для последующей обработки. Переносить данные непосредственно из протокола в электронную таблицу, создаваемую на компьютере, нецелесообразно по тем причинам, что техника, какая бы совершенная она ни была, может выйти из строя, «зависнуть», нередко выходят из строя диски, с которыми работают ряд исследователей. Поэтому необходимо всегда иметь почти «вечный» первоисточник (или компьютерную распечатку таблицы) на бумаге, особенно для наиболее ценных данных.

Для протоколов удобнее использовать листы одинакового формата, разлинованные в клетку. Это обеспечивает одинаковый масштаб записей и облегчает вычерчивание таблиц. Алгоритм заполнения протокола, форма записи каждого показателя по ходу эксперимента должны быть заранее продуманы и отработаны.

Процедура психодиагностического обследования. Процедура обследования должна как можно точнее соответствовать той, которая описана в руководстве используемой вами методики. Обычная последовательность проведения обследования примерно такова.

  • 1. Объяснить, зачем нужен тест (опросник, набор задач. ), избегая нежелательной коррекции мотивов; сообщить, какие результаты ожидаются.
  • 2. Гарантировать сохранение тайны отдельных ответов и результатов в целом.
  • 3. Медленно, громко, четко прочесть инструкцию или воспроизвести по памяти (если не запланировано инструктировать письменно).
  • 4. Привести примеры, дать возможность выполнить пробные задания при интеллектуальных тестах. Проверить, правильно ли понята инструкция.
  • 5. Ознакомить с регламентом времени. Сообщить о правилах исправления ошибок, о запретах в общении, поведении на время обследования. Указать, в какой форме должно быть закончено обследование.
  • 6. Попросить написать в листе для ответов (регистрационном бланке) перечисленные сведения о социально-демографических данных. Проследить за правильностью записей. Эти данные важны для психологов, описки же в них встречаются довольно часто. Весьма распространена следующая: дата обследования, пол, возраст (полных лет), образование, учреждение (организация), при необходимости — должность, специальность, рабочий стаж, социальное положение, состав семьи (для детей особенно дошкольного, младшего и среднего школьного возраста эту информацию следует уточнять у руководства учреждения, воспитателя, классного руководителя).
  • 7. Ответить на вопросы. Стараться отвечать лаконично — пространные ответы хуже запоминаются.
  • 8. При выполнении заданий с фиксируемым временем дать команду записать время начала выполнения заданий и начать решение
  • 9. По ходу обследования следить за соблюдением правил записей и запретов в общении. Руководителю обследования следует избегать перемешаться внутри помещения без необходимости — некоторых испытуемых это может отвлекать или раздражать. Надо следить за тем, чтобы незаполненное работой время испытуемых было минимальным во избежание лишних разговоров, обмена мнениями, сравнения ответов и т.п.
  • Читайте так же:  Детские пособия в Санкт-Петербурге в 2019 году. Размер детского пособия в санкт-петербурге в 2019 году

    Иногда заданный вопрос будит воспоминания, переживания, ассоциации, он является предлогом поговорить о чем-то личностно значимом.

    В этих случаях не рекомендуется входить в развернутые объяснения и комментарии вопросов. Если обследуемый, стараясь ответить на вопрос о выраженности у него некоторого психического качества, затрудняется это сделать из-за того, что оно по-разному проявляется в разных ситуациях, то для многих случаев подойдут такого рода разъяснения: «Ответьте, как это бывает с вами чаще всего» или «Оцените это для той ситуации, в которой вам легче всего себя представить (вспомнить)».

  • 10. По окончании обследования немедленно собрать тестовые материалы и листы для ответов (регистрационные бланки). Если обследование групповое, то это можно осуществить следующим образом:
    • • попросить всех оставаться на своих местах;
    • • попросить передать в начало или ряда (на первые столы) тестовые материалы в следующем порядке: листы для ответов, тестовые брошюры и стимульный материал, черновики;
    • • проверить количество собранных материалов.
    • Если обследование осуществляется без заранее ограниченного времени и допускается уход испытуемых сразу после выполнения всех тестовых заданий, то необходимо предупредить, что это можно сделать лишь после сдачи и проверки руководителем обследования возвращенных материалов [25, с. 50-51].

      Завершение эксперимента и обследования. Следует помнить, что очень часто психологический эксперимент или обследование вызывают психоэмоциональное напряжение и таят в себе опасность нанести испытуемому психотравму, хотя бы и небольшую. Многие вопросы или суждения вопросников и анкет предполагают углубленную рефлексию. Далеко не всегда мы провоцируем это у испытуемого в тот момент его жизни, когда это ему полезно или, по крайней мере, не вредно. Даже вопросы, касающиеся простых анкетных данных, заставляют человека осознать свои возрастные, национальные характеристики, должностной статус и т.д. При обдумывании ответов у испытуемых могут увеличиваться тревога, озабоченность, переживания по поводу совершенных ошибок и неудач, неудовлетворенность жизненными обстоятельствами и прочее. Велика опасность травма- тизации при изучении отношений в семье, в группе, других межличностных отношений.

      Болезненно могут восприниматься, например, нерешенные в отведенный срок задания, ошибки, растерянность и т.д. Надо сообщить, что в экспериментах это обычное явление и примерно так же действуют другие испытуемые [25, с. 511.

      Если вы не умеете смягчать негативное влияние эксперимента какими- либо простыми психотерапевтическими приемами, то все-таки позвольте испытуемому высказаться после окончания эксперимента. Дайте ему возможность в такой форме освободиться от возможных отрицательных эмоций. Разумеется, при этом вы не должны отвечать ни критикой, ни оправданиями на его высказывания. Не забывайте благодарить ваших испытуемых за участие в эксперименте, обследовании. Помните, что часто они, по существу, являются вашими безымянными соавторами, и это не вы на них работаете, а они на вас.

      Оформление хода и результатов эксперимента

      Важным этапом работы психолога-экспериментатора является оформление результатов проводимого исследования, так как ценность его заключается не столько в самом результате, хотя на это нацелен любой экспериментатор, сколько в возможности повторить опыт другими исследователями. Такая возможность может быть представлена только в случае последовательного, подробного и полного описания алгоритма действий. Все действия экспериментатора фиксируются в протоколе, отражающем ход исследования. Принципиальная схема исследования обсуждалась в главе 6. Приведем здесь лишь ее основные протоколируемые аспекты (рис. 9.3).

      Рис. 93. Алгоритм хода и результатов эксперимента

      Р. Готтсданкер (R. Gottsdanker) [1] определяет восемь основных элементов, которые должны быть обязательно отражены в исследовательских документах: изложение экспериментальной гипотезы; определение независимой переменной; изложение процедуры экспериментального действия (изучение предмета, характера независимой переменной и ее действия, особенностей воздействия независимой переменной); учет обстоятельств эксперимента (t°, погодные условия, день недели, время суток, до или после рабочего дня); расписание применения воздействия независимой переменной; приемы регистрации и анализа данных для проверки экспериментальной гипотезы и изложение способов интерпретации результатов;

      первоначальное описание деятельности испытуемых, ведение протокола на датируемых страницах; анализ результатов, вывод об исследуемой гипотезе. Эти составляющие в той или иной редакции используются в экспериментальной психологии и по сей день.

      Ведение протокола эксперимента. Четко определенной стандартной формы протокола эксперимента не существует. Единственное устоявшееся требование — это фиксирование соотношения воздействия и наблюдаемых реакций испытуемых, т.е. протокол должен состоять из двух основных частей. В первой части при протоколировании эксперимента исследователь подробно описывает свои действия, отвечая на вопрос: «Что сделано?» Во второй он фиксирует наблюдаемые события, происходящие в процессе эксперимента, тем самым отвечая на вопрос: «Что наблюдалось?»

      Протоколирование эксперимента осуществляется на датированных листах с указанием времени воздействия и наблюдений их последствий. Иногда осуществляется графическое протоколирование в виде «кривой соотношения», где независимая переменная помещена на оси абсцисс, а зависимая переменная — на оси ординат.

      Для некоторых экспериментальных ситуаций примерная форма протокола эксперимента может быть в таком виде, который изображен в форме 9.1.

      Примерная форма протокола эксперимента Протокол эксперимента

      _(название методики, опыта. )

      Ф. И. О. (полностью):_Дата:_

      Год рождения, месяц, число:_Время начала:_

      Наименование экспериментальной серии:_

      (если проводится несколько серий)

      Первичный результат, ответ

      Первичная оценка ( «сырая»)

      Стандартный балл (1)

      Вторичный результат, ответ

      Вторичная оценка («сырая»)

      Стандартный балл (2)

      Результаты первичного обследования заносятся в графы 2—3 формы протокола эксперимента (см. форму 9.1). Ответ испытуемого (графа 2) переводится в предусмотренную методикой (при помощи «ключа») оценку (графа 3) и стандартизируется (графа 4 формы).

      В графы 5—7 формы протокола эксперимента вносятся результаты вторичного (или итогового [2] ) измерения экспериментальных переменных, которое осуществляется после экспериментального воздействия. В графу «Примечание» заносятся вопросы, реплики, высказывания участников эксперимента, описание их поведения, внешнего вида и т.д. Если первые пробы показали, что в данной графе недостаточно места, то записи ведутся на отдельных листах бумаги.

      После окончания эксперимента следует попросить испытуемых сообщить о своих наблюдениях по ходу эксперимента, о своих мыслях, чувствах, образах, возникавших предположениях, намерениях, вариантах в письменной или устной форме. Лучше самому психологу или его ассистенту без редакции записать сообщения испытуемых.

      Форма протокола должна учитывать особенности экспериментальной процедуры, а также обеспечивать простоту и удобство обработки результатов. Чем меньше операций ручной обработки экспериментальных данных, тем меньше вероятность ошибок и искажений. Оптимально переводить данные непосредственно из протокола в электронную таблицу, создаваемую на персональном компьютере с помощью одной из систем управления базой данных.

      Алгоритм заполнения протокола по ходу эксперимента должен быть заранее продуман. Очень важно, чтобы был продуман формат записи каждого показателя и было определено его место в протоколе.

      Отчет о проведении эксперимента. Цель оформления отчета о проведении эксперимента — это доклад о конкретных результатах, связанных с апробированием научной гипотезы, а также предоставление возможности другим исследователям воспроизвести данный эксперимент и получить при этом аналогичные результаты.

      По мнению Р. Готтсданкера (Gottsdanker), отчет о психологическом эксперименте должен содержать:

    • 1) название (тему) (сообщение об изучаемой проблеме, ее актуальности);
    • 2) введение (сообщение о том, для чего был проведен эксперимент, изложение рабочей гипотезы исследования);
    • 3) содержание (краткий смысл того, что сделано и что получено в результате);
    • 4) методику (подробное описание того, как проводился эксперимент с тем, чтобы можно было повторить его результаты. Излагается информация о количестве участников, указываются их возраст, пол, уровень развития качеств и т.д., дается описание содержания независимой переменной, применяемого оборудования, приборов, способов фиксирования ответов (реакций) испытуемых, процедуры исследования, этапов проведения эксперимента, содержания инструкции и качества ее выполнения);
    • 5) результаты (представляются анализируемые данные с таблицами и графиками, необходимые пояснения о значимых особенностях эксперимента);
    • 6) раздел «обсуждение», который содержит интерпретацию экспериментальных результатов, выводы, пути совершенствования исследования по данной теме, в нем обозначается связь результатов с ранее опубликованными данными;
    • 7) раздел «сноски» (указываются использованные неопубликованные материалы и малотиражные работы);
    • 8) цитируемая литература (помещается в алфавитном порядке, а по тексту отчета указываются фамилии, инициалы авторов и год публикации работы);
    • 9) примечание (выражение благодарности помощникам, коллегам, сотрудникам и испытуемым).
    • Структура, формат и содержательные элементы отчета могут меняться в соответствии с требованиями организации, в которой выполняется исследование.

      Наглядное представление результатов способствует переходу полученных данных на новую ступень осмысления итогов эксперимента. Чтобы получить наиболее ясную картину результатов исследования, необходимо отобразить на рисунках, графиках и в таблицах только значимые для данной работы элементы, связи и параметры изучаемого события, а также добиться того, чтобы зрительное отображение информации было организовано с учетом особенностей восприятия и воображения человека. Одной из особенностей объема восприятия среднего индивидуума является одномоментное восприятие 5—9 единиц информации, т.е. на рисунке или графике должно присутствовать не более девяти предметов или символов, несущих существенную информацию. Количество рисунков, схем, таблиц не должно загромождать отчет и «разрывать» текст. Если необходимое количество наглядного материала превышает норму, то желательно его вынести в приложение к отчету.

      Диаграммы используются главным образом для отображения соотношений между величинами. Это способ графического представления величин при помощи фигур, площади которых пропорциональны этим величинам. В документах к психологическим исследованиям чаще всего используются секторные диаграммы, в которых числа (обычно проценты) изображены в виде круговых секторов, имеющих пропорциональные им площади.

      Гистограмма — это столбчатая диаграмма частотного распределения данных. На гистограмме высота столбцов соответствует числу наблюдений. Аналогом диаграммы является полигон. Этот графический способ отображения данных преимущественно используется для отображения дискретных значений. Столбчатые диаграммы и полигоны строятся в прямоугольной системе координат, в которой на оси ординат отмечаются численность, доля, а на оси абсцисс — значения или порядок признака. Пример изображения гистограммы показан на рис. 9.4.

      Графики используются при отображении общего характера функциональной зависимости (рис. 9.5). Они дают возможность интерполяции и тем самым предсказания промежуточного значения измеренной переменной или перспектив ее развития. Графики должны быть понятными читателям и поэтому иметь необходимые обозначения. Графики и текст должны взаимно дополнять друг друга. На одном графике, как правило, не должно быть больше четырех-пяти кривых разной толщины в зависимости от их важности. Точки наблюдения на кривых обозначаются кружками, квадратами или треугольниками.

      Рис. 9.4. Гистограмма частотного распределения результатов измерения

      Рис. 95. Пример графика формирования навыка

      Таблицы предназначены для сбора значений переменных или других данных, их систематизации и организации в табличную форму. В них рекомендуется использовать вертикальные линии для более четкого разделения столбцов. Горизонтальные линии следует использовать только для выделения главных разделов таблицы.

      Корреляционные плеяды (графы) являются формой графического отображения корреляционных связей между измеренными переменными (параметрами). Параметры изображаются кружками, внутри которых записываются наименования признаков. В центре корреляционной плеяды размещается наиболее важный (целевой) признак или тот, у которого наибольшее число значимых корреляционных связей. Характеристики корреляционных взаимосвязей желательно отражать наглядно. Например, положительные связи могут изображаться сплошными линиями, отрицательные — прерывистыми, достоверные на уровне 5% — одной линией, на уровне 1% — двумя линиями (рис. 9.6).

      Рис. 9.6. Корреляционная плеяда «Особенности познавательной сферы» (психологические функции):

      М — мышление; Р — речь; П — память; О — ощущения

      При написании дипломной (курсовой) работы следует руководствоваться требованиями, определенными на факультетах психологии или на соответствующих кафедрах. Научные направления кафедр различны, и это может обусловливать специфику содержания дипломной или курсовой работы.

      Дипломная работа является квалификационной. Комиссия, принимающая ее защиту, должна оценить профессиональный уровень студента- выпускника, поэтому дипломная работа должна быть написана в стиле научной статьи.

      Основаниями для высокой оценки дипломной работы могут быть ее законченность, оригинальность предположений и суждений, знание литературы исследуемой области, четкая формулировка цели и задач, планомерное осуществление сбора материала, анализ теоретических вопросов и эмпирических данных, грамотная обработка и интерпретация результатов, наличие адекватных гипотез и выводов.

      Особые трудности вызывает у студентов описание экспериментальной части исследования, где должны быть:

      • — краткое изложение содержания экспериментального исследования;
      • — описание экспериментальной выборки испытуемых (количество, состав по иолу, возрастные параметры, социально-демографические характеристики);

      характеристика условий и процедуры эксперимента; перечень использованных методик, обоснование их выбора и описание (ссылки на источники информации или описание в приложении психологических методик);

    • — сводные таблицы экспериментальных результатов (исходные данные, эмпирические данные);
    • — перечень всех признаков, которые были включены в математическую обработку (номер признака и название параметра, который за ним стоит);
    • — первичные статистики, помещенные в нижней части сводной таблицы;
    • описание статистического анализа, сведения о виде распределения данных, об уровнях значимости, достоверности сходства и различий и т.д.

      В заключительной части дипломной работы делаются выводы, число которых не должно превышать семи. Выводы должны содержать оценку соответствия результатов исследования поставленным целям и задачам, оценку решения научной проблемы. Достижение целей и результаты решения задач должны быть определенным образом отражены в выводах.

      На старших курсах начинается научно-поисковая исследовательская деятельность. Смысл ее заключается не только в проведении различных по сложности научных экспериментов, но и в публикации своих идей, результатов теоретических и экспериментальных разработок. Публикация статей в научных журналах является важной составной частью исследовательской деятельности, поэтому необходимо знать основные требования написания статей для научных изданий.

      В правилах подготовки материала статей для публикации, например в «Психологическом журнале», записано, что рукопись должна содержать новые факты или новые их интерпретации, критику существующих точек зрения, теорий или данных, обосновывать новые гипотезы, теоретические или методические подходы. Она должна обладать концептуальной строгостью, обоснованностью фактов, подходов и интерпретаций, ясностью и краткостью изложения. Рукопись должна быть логически построена — от постановки проблемы, цели исследования, изложения методических приемов, приведения необходимой аргументации до обоснования выводов работы. В научной статье автор, как правило, рассматривает одну идею, ставит и решает одну задачу.

      По структуре статья, содержащая экспериментальное исследование, должна состоять из введения, методики, результатов, обсуждения, выводов или заключения. В кратком введении в проблему должна быть осуществлена постановка задачи. Методика проведенного исследования должна быть изложена кратко, но достаточно понятно (возможны ссылки на первоисточники). Желательно описывать методику эксперимента в следующем порядке: испытуемые (количество, пол, возраст), психологические особенности испытуемых, включенных в экспериментальную и контрольную группы, инструкция, описание процедуры исследования, характеристики использованной аппаратуры, регистрируемые показатели, обработка и валидность результатов. Результаты должны быть изложены точно, без интерпретации. Количественные данные должны учитывать пределы точности измерения показателей. В тексте необходимы ссылки на таблицы и рисунки. В обсуждении дается краткая интерпретация результатов, рассматривается их соотношение с известными фактами, даются необходимые ссылки на литературу. Статья завершается выводами или заключением. Все специальные и технологические термины, новые понятия должны быть четко определены. Следует избегать метафорических высказываний, иносказаний, неологизмов и жаргона.

      В заключение следует заметить, что правильно и аккуратно оформленный эксперимент дает возможность судить не только о его результатах, но и о характере, исследовательской грамотности и интеллектуальной подготовленности самого экспериментатора.

      Экспериментатор и испытатель

      Как в Институте медико-биологических проблем РАН проходят эксперименты с участием человека

      В современном научном мире эксперименты с участием человека имеют свою специфику и статус. Ученый не может просто так взять человека и проверить на нем что-нибудь. Необходимо сначала провести свой эксперимент через специальную биоэтическую комиссию, которая определит степень опасности для испытателя, гуманности и вообще — нужности подобного исследования.

      Кто идет в испытатели? Все зависит от условий эксперимента и от тех целей и задач, которые ставят перед собой ученые. Чаще всего — возрастные рамки или половая принадлежность. Для участия в научных экспериментах, проводимых ИМБП РАН, испытатель должен быть здоровым, да не просто, а очень! Для этого он должен пройти специальную врачебно-экспертную комиссию, которая уже дает допуск к его участию в эксперименте.

      Что касается результатов такого рода исследований, то между собственно экспериментом и каким-либо научно-практическим выходом проходит от нескольких месяцев до нескольких лет кропотливой работы ученого с полученными данными. Но так уж устроена современная наука!

      Фото: Олег Волошин / Chrdk.

      Эксперимент «Светильник». Это серия гермокамерных (проводимых в замкнутом пространстве без внешнего источника освещения) испытаний особых светодиодных светильников, предназначенных для эксплуатации на борту космических летательных аппаратов. Было проведено четыре эксперимента с разными моделями светильников и режимами их работы. Оценивались в том числе психофизиологические эффекты освещения, воспроизводящего естественную суточную динамику. Научная программа исследования включала в себя несколько моделей операторской деятельности, комплекс офтальмологических исследований, биохимические и иммунологические анализы, блок психологических тестов и операционно-технологические эксперименты.

      Испытатель Алексей Ситев перед началом эксперимента по дыханию кислородно-аргоновой смесью с пониженным парциальным давлением кислорода. В рамках эксперимента проверялась гипотеза о том, что благодаря аргону улучшается переносимость гипоксии. Было высказано предположение, что аргон является неким катализатором, благодаря чему кислород во вдыхаемом газе лучше утилизируется и, таким образом, человек может находиться в условиях гипоксии без ущерба для здоровья (не переходя в гипоксемию). ткани будут получать достаточно кислорода, чтобы обеспечивать окислительно-восстановительные процессы в организме даже при условии снижения парциального давления вплоть до 14% (в отличие от 22% в норме). В рамках эксперимента выяснилось, что при наличии аргона этого количества кислорода хватает даже на то, чтобы выполнять тяжелую работу.

      Эти исследования позволят выяснить, как можно помочь организму легче переносить гипоксию тканей. Так, было установлено, что благодаря тренировочному эффекту при дыхании такой смесью ткани приучаются работать в более жестких условиях гипоксии. А это, в свою очередь, может помочь не только при болезнях (гипоксия имеет место практически при любых заболеваниях), но и спасателям, пожарным при выполнении работы в более тяжелых и экстремальных условиях.

      Татьяна Шигуева проводит исследование характеристик кривой вовлечения (отражает зависимость амплитуды рефлекторного ответа от силы раздражения) Н-рефлекса мышц-разгибателей голени (m.soleus и m. gastrocnemius) в условиях пятисуточной «сухой» иммерсии (одна из экспериментальных моделей, воспроизводящая физиологические эффекты невесомости и гипокинезии).

      Н-рефлекс — это рефлекторное возбуждение мышцы, регистрируемое с помощью электромиограммы, в ответ на электрическое раздражение большеберцового нерва в подколенной ямке. Его используют в качестве интегративного теста, отражающего функциональное состояние спинальных структур. Исследование Н-рефлекса позволяет судить о состоянии проводимости всей рефлекторной дуги (т.е. пути, по которому проходят нервные импульсы во время рефлекса) и об уровне возбудимости мотонейронов (они обеспечивают моторную координацию и поддержание мышечного тонуса).

      Исследователи облачают испытуемого в специальный костюм аксиального нагружения «Пингвин» во время эксперимента с пятисуточной «сухой» иммерсией, которая моделирует воздействие гипогравитации на организм испытателя. Такой костюм применяется космонавтами на борту МКС как профилактическое средство против воздействия неблагоприятных факторов космического полета. Внутри костюма расположены эластичные тяжи, которые создают дополнительную весовую нагрузку на скелет и мышцы человека. Также костюм применяется для реабилитации пациентов после травм и инсультов (используется специальная модифицированная версия костюма — «Регент»).

      Инженеры ИМБП РАН Константин Зеленский и Олег Иванов проводят испытания мягкого экзоскелетона, разработанного на основе костюма «Регент». Эластичные тяжи костюма позволяют создать дополнительную стабилизацию различных сегментов тела. Также костюм позволяет стимулировать группы мышц, задействованные при вертикальной стойке и ходьбе, электрическими импульсами, что облегчает эти действия. Костюм будет применяться в клиниках для реабилитации пациентов после черепно-мозговых травм, инфарктов и инсультов. На фото запечатлен процесс подбора оптимальных характеристик электрической стимуляции. На лицо и тело испытателя наклеены светоотражающие датчики, которые захватывают и оцифровывают его движения.

      Испытания для проверки физиолого-гигиенических характеристик самоспасателя ШС-30 и их соответствия требованиям, предъявляемым к изолирующим аппаратам. Планируется, что после успешного завершения испытаний аппарат будет рекомендован для оснащения им всех шахт на территории РФ.

      Самоспасатель — это устройство защиты органов дыхания изолирующего типа, используется для самостоятельного спасения шахтеров в случае аварии на шахтах, когда в атмосферу попадают вредные газы (в частности, угарный газ СО). В таком самоспасателе поглощается выдыхаемый человеком углекислый газ и выделяется химически связанный кислород.

      На фото — обследование испытателя после «выхода из шахты». Проводится комплексная оценка влияния дыхания чистым кислородом (при повышенном сопротивлении дыханию) на кардиореспираторную систему, позволяющая одновременно определить наличие и состав микропримесей в выдыхаемом газе.

      Александр Суворов проводит исследование по изучению легочных объемов и оценки диффузионной способности легких. В условиях пониженной гравитации изменяется кровенаполнение легких, в результате перераспределения крови изменяются легочные объемы, меняется диффузионная способность легких. Для того чтобы определить, как они меняются, проводится измерение легочных объемов и резервов вентиляции с помощью тестов с форсированным дыханием во время пятисуточной «сухой» иммерсии, моделирующей физиологические эффекты воздействия невесомости.

      В силу ряда ограничений (требуется использование определенных инертных газов, которые не допускаются на борт МКС) такая углубленная оценка возможна только в условиях наземных модельных экспериментов.

      Научные сотрудники ИМБП РАН Юлия Попова и Елена Лучицкая выполняют наземную версию космического эксперимента «Дыхание-1», который выполнялся космонавтами на борту МКС. Это исследование позволяет понять, какой вклад оказывают различные группы мышц в акт дыхания. Это важно знать, т.к. в условиях микрогравитации перераспределяется нагрузка на дыхательные мышцы (акт дыхания облегчается) вследствие более равномерного распределения крови по легким. За счет этого снижается минутный объем дыхания, но одновременно может отмечаться повышение уровня диафрагмы (т.е. она как бы находится в положении вдоха). Это, в свою очередь, приводит к перераспределению нагрузки на дыхательные мышцы, и они детренируются.

      Эксперимент «Дыхание-1» позволяет раздельно оценить вклад диафрагмы и межреберных мышц в акт дыхания, благодаря чему можно понять, насколько космонавтам нужна специальная тренировка межреберных мышц и насколько необходимо вносить коррекцию в положение диафрагмы.

      Исследование позных коррекционных ответов. Первый исследователь наносит небольшие удары специальным устройством в пластину, закрепленную на груди испытуемого. При толчке испытуемый отклоняется назад, затем возвращаясь в исходное положение. При анализе данных учитывается то, как далеко испытуемый отклонился, время восстановления исходной позы и сила толчка, которая привела к потере равновесия. Второй исследователь страхует испытателя. Исследование помогает изучить особенности вертикальной позы испытуемого. Обычно проводится до и после гравитационной разгрузки.

      Фото: Олег Волошин / Chrdk.

      Эксперимент направлен на определение уровня аэробных возможностей участников 17-суточного изоляционного эксперимента SIRIUS-17 (выполнялся до и после изоляции). Испытуемые выполняли тест со ступенчато возрастающей нагрузкой на специальном стенде с вертикальной бегущей дорожкой БД-2 (точно такая же используется российскими космонавтами для физических тренировок на борту МКС). Вертикальное положение самой дорожки и специальные ремни для вывешивания испытателя параллельно полу моделируют отсутствие гравитации (аналогично космическому полету). Во время данного теста регистрировались параметры газообмена (потребление кислорода, выделение углекислого газа, легочная вентиляция), частота сердечных сокращений и уровень лактата в капиллярной крови.

      Методика «Слежение». Направлена на изучение влияния длительного воздействия сниженной опорно-тактильной и проприоцептивной (мышечной) афферентации на следящую функцию глаз, характеристики зрительно-мануального слежения и вестибулярную функцию во время моделирования неблагоприятных эффектов невесомости методом «сухой» иммерсии.

      Все эти элементы являются основой для успешного осуществления операторской деятельности у космонавтов, а изучение их изменений поможет в прогнозе, профилактике и улучшении операторских навыков. Исследование осуществляется посредством регистрации движения глаз с помощью метода электроокулографии, а также регистрации движений руки в ответ на предъявляемый стимул с использованием биологической обратной связи. Для этого одна точка-стимул движется по заранее заданным траекториям, а второй управляет оператор; его задача — стараться удерживать оба стимула рядом. Оценивается точность и синхронность слежения рукой и глазами.

      Изучение влияния гравитационной разгрузки на морфологию стоп и оценка рисков их деформации у космонавтов после приземления.

      Метод исследования основан на измерении морфологических характеристик стоп, полученных путем сканирования опорной поверхности ноги. Для воспроизведения условий гравитационной разгрузки измерение проводилось в условиях пятисуточной «сухой» иммерсии. Для реализации данного эксперимента в ИМБП молодым инженером Смирновым Ю.И. и медиком Савеко А.А. была изобретена специальная конструкция сканера, позволяющая проводить сканирование стопы в положении лежа в иммерсионной ванне и исключающая влияние положения и массы тела на результат.

      Испытатель, сотрудник ИМБП РАН Олег Волошин, и научный сотрудник Ярослав Боритко проводят исследование динамики качества профессиональной деятельности человека-оператора во время эксперимента с пятисуточной «сухой» иммерсией (она моделирует воздействие гипогравитации на организм испытателя). Для этого испытатель несколько раз (до, во время и после эксперимента) выполнял имитационные задачи по ручному управлению стыковкой двух космических аппаратов на специальном комплекте аппаратуры «Пилот-Т». Уровень задач повышался по мере усовершенствования навыка пилотирования. Качество деятельности оценивалось как по физиологическим параметрам (ЭКГ, частота дыхания и ряд других), так и по техническим — времени, объему топлива, потраченному на стыковку, скорости сближения и тому подобного.

      Подготовка испытателя Марка Серова к бегу на специальном стенде — вертикальной бегущей дорожке БД-2. Точно такая же дорожка находится на борту МКС и используется космонавтами для ежедневных тренировок. Единственное отличие наземной дорожки от бортовой — необходимость нивелировать вектор гравитации, для чего используется специальный подвижный ложемент, который не позволяет испытателю жестко зафиксироваться на дорожке — любой толчок отодвинет его от опоры. А чтобы все-таки можно было бегать, на испытателя одевают специальную систему ремней-притягов, обеспечивающую необходимую силу «притяжения» к дорожке. Эта сила может меняться в зависимости от задач.

      Исследование глазодвигательных ответов при электростимуляции вестибулярного аппарата. При воздействии невесомости происходит нарушение функций вестибулярного аппарата, что сопровождается укачиванием, вестибулярными иллюзиями и рассогласованными движениями глаз. На фото испытуемый находится в иммерсионной ванне, с помощью которой моделируют эффекты невесомости. На голове добровольца расположены электроды, стимулирующие вестибулярный аппарат, и специальная маска, которая регистрирует движения глаз. Исследователь на приборе задает величину и силу стимула, а камера на маске регистрирует движения зрачка.

      Выбор и принуждение: опыты на людях

      Возможность принимать решения — хотя бы насчет комнатного цветка — укрепляет здоровье и продлевает жизнь. Давление общества заставляет нас ошибаться в простейших заданиях типа сравнения длины линий. Перекладывание ответственности приводит к тому, что человек последовательно причиняет боль ни в чем не повинным товарищам по эксперименту. Мы все краем уха слышали о главных психологических экспериментах XX века, но что на самом деле было сделано в этих опытах? «Метрополь» докопался до первоисточников для вас.

      В 1976 году Арден-хаус, респектабельный дом престарелых в Коннектикуте, становится полигоном для самого вдохновляющего эксперимента XX века.

      Психологи из Йеля и Нью-Йоркского университета, Джудит Роден и Эллен Лангер, хотят выяснить, почему состояние стариков, как правило, заметно ухудшается после попадания в пансионат. Этот эффект выражен даже в том случае, если речь идет о заведении с великолепным медицинским обслуживанием и продуманной культурной программой.

      Исследователи рассматривают следующий механизм. Обитатели дома престарелых свободны от принятия каких бы то ни было решений. В результате они утрачивают ощущение контроля за своей жизнью. Это приводит к ухудшению здоровья. Гипотеза по тем временам довольно смелая. Чтобы ее проверить, необходимо создать различия между группами испытуемых. Обитатели четвертого этажа получают полную свободу выбора. Жители второго этажа — лишаются даже ее последних островков. Вкратце речь сотрудников дома престарелых о новых порядках звучала так:

      …Мы хотим, чтобы вы были счастливы, и поэтому:

      «Группа 4 этажа»
      — поможем вам переставить мебель, если вы хотите что-то изменить;
      — если хотите, вы можете выбрать растение и заботиться о нем;
      — в четверг и пятницу мы можем показать кино, решите, будете ли вы смотреть и в какой день

      «Группа 2 этажа»
      — обустроим ваши комнаты наилучшим образом;
      — поставим в вашу комнату растение, медсестра будет его поливать;
      — в четверг и пятницу мы будем показывать кино, и сообщим вам, кто в какой день будет его смотреть

      Уже через три недели такой жизни обнаружилось, что жители четвертого этажа, самостоятельно принимающие решения, стали считать себя более активными и счастливыми, а ограниченные в выборе жители второго, напротив, стали более пассивными и несчастными. По оценкам медсестер, состояние пациентов с четвертого этажа также улучшилось, и они стали больше общаться с людьми — а пациенты со второго, наоборот, стали чувствовать себя хуже и общаться меньше.

      Эксперимент продолжался еще 18 месяцев. За это время показатели здоровья снизились в обеих группах (что естественно, поскольку речь идет о глубоких стариках). Но среди тех, кто не принимал решений, суммарная оценка здоровья оказалась в полтора раза ниже, чем в группе людей самостоятельно организующих свою жизнь. К тому же за это время в группе пациентов с четвертого этажа умерли 7 человек из 47, а в группе со второго этажа — 13 из 44. Согласно расчетам авторов, эта разница статистически достоверна. Если выразить ее в виде процентов, получается еще внушительнее.

      Для человека, принимающего решения, вероятность умереть за время эксперимента составила 15%. Для того, кто пассивно отдавался заботе персонала — 30%.

      Стэнли Милгрэм в знаменитых экспериментах, проведенных в Йельском университете, он говорил испытуемым, что изучает воздействие боли на эффективность обучения.

      Двух участников эксперимента просили вытянуть из шляпы бумажки, чтобы определить, кто станет учеником, а кто — учителем. Первый должен был согласиться на то, чтобы его привязали к креслу и заставили запоминать пары слов, подавая электрический разряд в случае каждого неверного ответа. Второму предстояло контролировать выполнение задания и подавать эти электрические удары, повышая силу тока после каждой ошибки.

      В действительности роль ученика всегда доставалась подсадной утке. Милгрэма интересовали только люди, игравшие роль учителя. Он хотел выяснить, как далеко может зайти человек в причинении боли другому, если это происходит в социально одобряемой ситуации.

      Шкала электрошокера содержала 30 делений — от 15 до 450 вольт. Ученик не получал настоящих ударов током, но генератор выглядел очень солидно, и никаких сомнений в реальности наказания у учителя не было — тем более что перед экспериментом ему давали почувствовать на себе пробный удар в 45 вольт. После достижения отметки в 300 вольт ученик начинал стучать в стену и переставал отвечать (а в более поздних вариантах эксперимента — прямо жаловался на непереносимую боль и на проблемы с сердцем).

      Экспериментатор, наблюдающий за испытуемым-учителем, требовал приравнивать десятисекундное отсутствие ответа к ошибке и увеличивать силу удара дальше. Сомнения учителя экспериментатор пресекал заранее подготовленными фразами: “пожалуйста, продолжайте”, “эксперимент требует, чтобы вы продолжали”, “абсолютно необходимо, чтобы вы продолжили”, и “у вас нет выбора, вы должны продолжать” (каждая фраза произносилась, если предыдущая не оказала эффекта).

      Перед тем, как начать эксперимент, Милгрэм рассказал о нем четырнадцати студентам-психологам и попросил предсказать результаты. Все они были уверены, что до конца шкалы электрошокера дойдет не больше трех процентов испытуемых, а абсолютное большинство откажется продолжать, как только осознает, что ученику действительно больно. Результаты, однако, оказались совсем другими: из сорока участников исследования только пятеро прекратили подавать удары током до стука в стену, а еще девять отказались продолжать эксперимент в промежутке от 300 до 400 вольт. Остальные 26 участников послушно выполняли все требования экспериментатора и дошли до самого конца шкалы (где, между прочим, была подпись “опасно: труднопереносимый удар”).

      Милгрэм честно признается в своей статье, что и он сам, и все его коллеги были шокированы этими результатами.

      Люди на самом деле мучались, испытывали сильный стресс, но не находили в себе решимости ослушаться экспериментатора, хотя это совершенно ничем им не угрожало. В то же время, если возможность ослушаться была более очевидной (например, в одном из последующих вариантов эксперимента испытуемые получали указания по телефону), число тех, кто не доходил до конца шкалы, возрастало в несколько раз. Нередко люди при этом врали экспериментатору, что продолжают увеличивать напряжение. Ну, а то вдруг он будет недоволен?

      Внимательно посмотрите на картинку в комментариях. Это — простой американский тест для проверки зрения. От вас требуется выбрать в правой группе отрезок, идентичный по длине отрезку из левой части рисунка.

      После того, как вы определились, можно узнать правильные ответы: первый отрезок в группе I, второй — в группе II, и третий — в группе III. Вполне вероятно, что ваша первая версия не совпадала с объективной реальностью. Ничего страшного, вы стали жертвой оптической иллюзии, на которую не покупаются более внимательные люди. Теперь, когда вы знаете, как обстоит дело, присмотритесь еще раз. Большинство людей не испытывают с трудностей с тем, чтобы дать верный ответ, после того как им на него указали.

      Этот рисунок взят из статьи Соломона Аша, американского психолога, который, конечно же, изучал не зрение испытуемых, а их конформность. Аш выяснил, что испытуемые способны правильно соотнести длину линий более чем в 99% случаев, если им никто не противоречит. Но вот в ситуации, когда остальные участники эксперимента — подсадные утки — дают неправильный ответ, всего-навсего 25% испытуемых способны поверить своим глазам и верно оценить длину линий в серии из нескольких тестов. Точно такой же эффект вы испытали на себе, если при чтении прошлого абзаца и в самом деле посчитали себя жертвой оптической иллюзии.

      Среди прочего, Аш исследовал, какие факторы влияют на склонность соглашаться или не соглашаться с общественностью. Он продемонстрировал, например, что устоять перед давлением группы и начать думать самостоятельно гораздо проще , если есть еще хотя бы один человек, идущий против большинства (при этом неважно, прав ли он или заблуждается).

      Именно поэтому, если мы испытываем сомнения в правоте общественности, так важно выражать их в слух — этим мы помогаем не столько себе, сколько всем остальным людям, которым иначе не хватило бы решимости усомниться.

      Читайте так же:  Как рассчитать налог на прибыль в 2019 году. Какой налог на н
  • admin