st 600

Статья была написана в 1997 году, когда я еще преподавал в НГАХА, по результатам оценки одного из учебных проектов. Это эмпирическое исследование, поэтому статья получилась трудно-читабельна.

На сайте статью решил разместить по причине того, что тема статьи связана с оценкой архитектурных произведений. Оценка важный компонент ценностно-смысловой активности человека, которая в свою очередь является частью концепта, а также метаконцепта, наряду с опытом, образно-воспринимаемой и понятийной частями.

***

Цели данной работы:

• проанализировать тенденции оценочной деятельности,

• наметить понятийно-терминологические средства описания оценочной деятельности,

• попытаться выявить суть происходящего,

• наметить пути использования этого знания для совершенствования оценочной деятельности всевозможных экспертных комиссий,

• наметить пути создания, на основе этого знания, методики оценочной деятельности.

Базой данных для аналитических действий послужили оценки выставленные преподавателями по результатам первой сдачи учебного проекта интерьеров легкого многофункционального павильона в 301 группе в конце мая 1997 года.

Общая (средняя) оценка за проект в этой группе определялась экспертным (демократичным) способом. Этот метод довольно часто используется в мировой практике оценки сложных явлений. Суть этого метода:

• каждый преподаватель (эксперт), руководствуясь любыми своими представлениями о должном, выставляет оценку;

• общение (взаимовлияния) целенаправленно не организовано, каждый сам по себе, в идеале эксперты должны быть изолированы друг от друга;

• время на называние своей оценки и корректировки своей позиции относительно уже услышанных оценок выделяется несколько секунд в идеале это должно произойти одновременно или оценки должны быть поданы списком;

• выводится средне арифметическая оценка по учебному проекту студента.

Для сравнения можно привести другой способ оценки, очень часто применяемый на кафедрах российских архитектурных вузов, в частности, в новосибирском архитектурно-художественном ВУЗе. Его можно назвать “методом демократического централизма”. Суть метода:

• есть руководитель, чаще всего на защитах им является заведующий кафедрой;

• есть группа преподавателей участвующих в оценке проекта (совет);

• целенаправленно организуется общение между преподавателями, в виде высказываний, споров, дискуссий, перетягиваний каната;

• руководитель старается не участвовать в этой процедуре и наблюдает происходящее, делает выводы;

• преподавателями участниками, после разминки в виде перетягивания каната, называются выставляемые ими оценки;

• руководитель, держит наготове толстый карандаш, своеобразный символ, который достаточно однозначно всеми понимается, выслушав дискуссию, выслушав оценки, выставляет общую оценку, исходя из своих представлений о должном.

На первой защите, которая традиционно проходит наиболее активно, по крайней мере со стороны преподавателей, было сдано 12 проектов. Выставленные оценки представлены в таблице 1.

Фамилии студентов и преподавателей заменены цифровыми условными знаками.

Таблица 1

Ф.И.О. Преп. 1 Преп. 2 Преп. 3 Преп. 4 Преп. 5 Преп. 6

Общая

оценка

Студент 01       5 6 5 6 6 8 6
Студент 02 5 8 8 8 8 9 8
Студент 03 7 10 10 8 10 8 9
Студент 04 7 10 6 7 8 10 8
Студент 05 - 7 6 6 7 7 7
Студент 06 3 6 5 6 5 6 5
Студент 07 6 6 8 7 6 7 7
Студент 08 5 6 6 5 6 6 6
Студент 09 7 7 5 5 7 6 6
Студент 10 6 9 6 9 9 8 8
Студент 11 7 10 7 6 8 10 8
Студент 12 7 7 10 8 9 8 8

 

Критичность преподавателя

Оценочная позиция преподавателя - сумма всех оценок выставленных преподавателем. Ситуация в оценочных позициях предстала следующим образом.

• Преподаватель 1 - 70 баллов.

• Преподаватель 4 - 81 балл.

• Преподаватель 3 - 82 балла.

• Преподаватель 5 - 89 баллов.

• Преподаватель 2 - 92 балла.

• Преподаватель 6 - 93 балла.

Средняя оценочная позиция - равна сумме общих (средних) оценок, в данном случае - 86 баллов.

Критичность преподавателя - разница между оценочной позицией преподавателя и средней оценочной позицией. Картина критичности предстает в следующем виде - две большие группы в каждой из которых по две подгруппы.

Первая группа - это группа с отрицательной критичностью.

Отрицательная критичность - “игра” на понижение противодействующая “игре” на повышение, оценочное проявление несовпадения с желаемым, требуемым.

Первая подгруппа.

• Критичность преподавателя 1 = 70 - 86 = минус 16 баллам.

У первого преподавателя, по видимому, выразилось резкое недовольство проделанной работой, так как явно видна “игра” на понижение. 16 баллов в данном случае характеризуют жесткий уровень критичности.

Вторая подгруппа.

• Критичность преподавателя 4 = 81 - 86 = минус 5 баллам.

• Критичность преподавателя 3 = 82 - 86 = минус 4 баллам.

Третий и четвертый преподаватели умеренно “играли” на понижение, возможно, что увиденные проекты не совпадали с неосознаваемыми или сознаваемыми требованиями к учебному проекту.

Вторая группа - это группа преподавателей с положительной критичностью.

Положительная критичность - “игра” на повышение, противодействующая “игре” на понижение, следствие одобрительного отношения к проделанной работе, утверждение правильности тенденций движения, как правило, есть следствие совпадения с желаемым, требуемым.

Первая подгруппа.

• Критичность преподавателя 2 = 92 - 86 = плюс 6 баллам.

• Критичность преподавателя 6 = 93 - 86 = плюс 7 баллам.

Второй и шестой преподаватели несколько интенсивно “играли” на повышение, по видимому пытаясь противодействовать первому преподавателю или в целом противодействовали “игре” на понижение.

Вторая подгруппа.

• Критичность преподавателя 5 = 89 - 86 = плюс 3 баллам.

Пятый преподаватель наиболее близок к средним оценкам при общей игре на повышение.

Напряженность критичности - может включат такие характеристики как: жесткая позиция, умеренность, если выражается в баллах то - это степень отклонения от нуля (от среднего).

“Что такое хорошо и что такое плохо”

Распределение максимально высоких оценок

Это ответ на вопросы: Какие проекты оценены максимально высоко? Что такое хорошо с точки зрения преподавателей?

Результаты анализа представлены в таблице 2.

Таблица 2

Ф.И.О. Преп. 1 Преп. 2 Преп. 3 Преп. 4 Преп. 5 Преп. 6 Общая оценка
Студент 01     5 6 5 6 6 8 6
Студент 02 5 8 8 8 8 9 8
Студент 03 7 10 10 8 10 8 9
Студент 04 7 10 6 7 8 10 8
Студент 05 - 7 6 6 7 7 7
Студент 06 3 6 5 6 5 6 5
Студент 07 6 6 8 7 6 7 7
Студент 08 5 6 6 5 6 6 6
Студент 09 7 7 5 5 7 6 6
Студент 10 6 9 6 9 9 8 8
Студент 11 7 10 7 6 8 10 8
Студент 12 7 7 10 8 9 8 8

 

Максимально высокими оценками в этом проекте можно принять десятки и девятки.

Проявилась следующая картина. Пять проектов имеют максимальные оценки: • проект Студента 03 имеет 3 максимальные оценки,

• проект Студента 10 имеет 3 максимальные оценки,

• проект Студента 04 имеет 2 максимальные оценки,

• проект Студента 11 имеет 2 максимальные оценки,

• проект Студентв 12 имеет 2 максимальные оценки.

Из шести преподавателей двое - трое выставляют максимальную оценку, то есть, видят в работе, что- то очень хорошее, двое - трое преподавателей средние оценки, то есть, демонстрируют отсутствие особого восхищения проектом.

Другая картина по тому же поводу, выявилось три группы:

• Первый преподаватель - отсутствуют максимальные оценки.

Первый преподаватель не усмотрел совпадения со своим представлением о том, “что такое хорошо”, иными словами проекты делаются как-то не так.

• Четвертый преподаватель - выставил 1 максимальную оценку (девятка).

• Третий преподаватель - выставил 2 максимальные оценки (десятки).

Третий и четвертый преподаватели видят некоторые положительные свойства проектов, которые совпадают, по видимому, с их представлениями о том, “что такое хорошо”.

• Пятый преподаватель - выставил 3 максимальные оценки (одна 10 и две 9).

• Шестой преподаватель - выставил 3 максимальные оценки (две 10 и одну 9).

• Второй преподаватель - выставил 4 максимальные оценки (три 10 и одну 9).

Второй, пятый и шестой преподаватели в большей степени усматривают совпадения со своими представлениями о хорошем.

Распределение максимально низких оценок

Если распределение максимально высоких оценок говорит о том “что такое хорошо”, то распределение максимально низких оценок говорит о том “что такое плохо”. Это указатель того, “как не надо делать”.

Результаты анализа представлены в таблице 3.

Первое допущение - первый преподаватель исключен из анализа. По уровню критичности по отсутствию положительных оценок картина вполне ясна - не туда идем, не так делаем, причем “точка зрения” проявлена в виде вызова остальной группе преподавателей.

Второе допущение - в анализе отрицательности рассмотрены пятерки и шестерки, как наиболее низкие из выставленных пятью преподавателями.

Первый срез ситуации:

• Проект Студента 06 получил 5 низших оценок.

• Проект Студента 08 получил 5 низших оценок.

• Проект Студента 01 получил 4 низшие оценки.

В этих трех проектах наблюдается практическое единодушие - это говорит о большом сходстве “точек зрения” на то, “что такое плохо”.

• Проект Студента 09 получил 3 низшие оценки.

• Проект Студента 05 получил 2 низшие оценки.

• Проект Студента 07 получил 2 низшие оценки.

В этих трех проектах двое - трое преподавателей видят негатив, а оставшиеся тоже двое - трое преподавателей склонны усмотреть средний уровень.

Второй срез анализа:

• Третий преподаватель выставил 7 низких оценок.

• Четвертый преподаватель выставил 6 низких оценок.

Таблица 3

Ф.И.О. Преп. 2 Преп. 3 Преп. 4 Преп. 5 Преп. 6

Общая

оценка

Студент 01      6 5 6 6 8 6
Студент 02 8 8 8 8 9 8
Студент 03 10 10 8 10 8 9
Студент 04 10 6 7 8 10 8
Студент 05 7 6 6 7 7 7
Студент 06 6 5 6 5 6 5
Студент 07 6 8 7 6 7 7
Студент 08 6 6 5 6 6 6
Студент 09 7 5 5 7 6 6
Студент 10 9 6 9 9 8 8
Студент 11 10 7 6 8 10 8
Студент 12 7 10 8 9 8 8

 

Третий и четвертый преподаватель выставили максимальное количество низких оценок - это другой показатель высокого уровня критичности, заявления о том, что идем неправильной дорогой.

• Второй преподаватель выставил 4 низких оценок.

• Пятый преподаватель выставил 4 низких оценок.

• Шестой преподаватель выставил 3 низкие оценки.

Три преподавателя выставившие по четыре и три низкие оценки, умеренно критичны, в основном низкие оценки в этой группе совпадают с единодушно принятыми (см. первую группу в анализе этого раздела).

Противопоставление максимально высоких и низких оценок

В анализе выделим те проекты, которые наряду с низкими имеют высокие оценки:

• Проект Студента 04 получил 1 низшую оценку, наряду с 2 высшими оценками.

• Проект Студента 11 получил 1 низшую оценку, наряду с 2 высшими оценками.

• Проект Студента 10 получил 1 низшую оценку, наряду с 3 высшими оценками.

Выводы

Описательные выводы.

1. Отсутствует единство “точек зрения” в понимании того, что можно назвать “что такое хорошо”.

2. Присутствует совпадение “точек зрения” на то, “что такое плохо”, несовпадение “точек зрения” по этому поводу вполне умеренно.

3. Присутствует противоположность “точек зрения”. Одни преподаватели склонны усмотреть в некоторых проектах максимальные достижения, а другие усматривают в тех же проектах минимальные достижения. Противопоставляется то, “что такое хорошо” и то, “что такое плохо”. Иными словами - по некоторым проектам складывается проблемная ситуация в оценочной деятельности.

Объяснительные выводы. В качестве гипотезы можно принять следующие высказывания.

1. По видимому, все дело в “точке зрения”, которые у преподавателей разные. По видимому - это явление, которое нами обозначено как “точка зрения” схоже с явлениями, которые обозначают следующими терминами-понятиями - “мировоззрение”, “профессиональные представления”, “концептуальные картинка”, “ профессиональный архетип”, профессиональный гештальт” о том, “что такое хорошо” и о том, “что такое плохо”.

2. По видимому, оценочные действия связаны с выбором профессионального пути. Распределение оценок - это распределение ответов на вопрос -”Куда надо идти?”. Максимально высокая оценка - это указатель максимально высоких образцовых или даже идеальных качеств, для преподавателя, по направлению к которым движется он сам, либо рекомендует двигаться другим. Выставляя высокую оценку преподаватель заявляет об этом. Максимально низкая оценка это указатель того, куда не надо идти. Отсутствие высоких оценок, по видимому, говорит о том, что преподаватель заявляет себе, коллегам, студентам “мы не туда идем” или “вы не туда идете”.

Эвристический вывод - Что такое “точка зрения”? Каковы свойства “точки зрения”? Чтобы выявить качественные свойства “точки зрения” необходимо проанализировать учебные проекты с качественной стороны.

Методические выводы. С методической стороны можно задать следующие вопросы: Возможна ли трансформация “точки зрения преподавателя”? Ответ в виде гипотезы - по видимому, нет, по крайней мере, за очень короткий промежуток времени.

Что делать преподавателям с разными или даже противоположными “точками зрения”? Ответ в виде гипотезы - по видимому, преподавать должна команда с относительно взаимоувязанными “точками зрения”.

Каковы процедуры взаимоувязки “точек зрения”? Ответ в виде гипотезы - по видимому схожие с процедурой создания команды.

Оценочное согласие и конфликт

Соотношение согласия и конфликтов

Из рассматриваемых 12 проектов можно выделить 4 группы проектов с разной степенью напряженности согласия и конфликтности.

Группа проектов, по которым в позициях преподавателей преобладает согласие. Разница между максимально высокой и максимально низкой оценкой - 1 балл. В эту группу проектов входят:

• проект Студента 02, выставленные баллы - 7, 8;

• проект Студента 05, выставленные баллы - 6, 7;

• проект Студента 06, выставленные баллы - 5, 6;

• проект Студента 08, выставленные баллы 5, 6.

Группа проектов с разницей в позициях преподавателей в 2 балла. По отношению к этим проектам у преподавателей преобладает согласие хотя увеличилась степень конфликтности. В эту группу проектов входят:

• проект Студента 03, выставленные баллы - 8, 10;

• проект Студента 07, выставленные баллы - 6, 7, 8;

• проект Студента 09, выставленные баллы - 5, 6, 7.

Группа проектов с разницей в позициях преподавателей в 3 балла. По отношению к этим проектам между преподавателями начинает преобладать конфликтность, хотя некоторое согласие еще есть. В эту группу входят:

• проект Студента 01, выставленные баллы - 5, 6, 8;

• проект Студента 10, выставленные баллы - 6, 8, 9.

Последняя группа проектов с максимальной конфликтностью в 4 балла. Эта группа представлена:

• проектом Студента 04, выставленные баллы - 6, 7, 8, 10;

• проектом Студента 11, выставленные баллы - 6, 7, 8, 10.

Частота индивидуальной конфликтности

Частота индивидуальной конфликтности - количество максимально положительных и максимально отрицательных оценок. Причем можно выделить две группы.

Одна группа с преобладанием отрицательности:

• у преподавателя 3 частота конфликтности равна 8 (три положительных и пять отрицательных случаев);

• у преподавателя 4 частота конфликтности равна 5 (один положительный и четыре отрицательных случая).

Другая группа с преобладанием положительности:

• у преподавателя 2 частота конфликтности равна 7 (пять положительных и два отрицательных случая);

• у преподавателя 5 частота конфликтности равна 5 (четыре положительных и один отрицательный случай);

• у преподавателя 6 частота конфликтности равна 4 (три положительных и один отрицательный случай).

Частота индивидуального согласия

Частота индивидуального согласия- количество совпадений оценок выставленных преподавателем со средней оценкой. Распределение частоты умеренности имеет следующий вид:

• у преподавателя 5 частота умеренности равна 7;

• у преподавателя 6 частота умеренности равна 6;

• у преподавателя 2 частота умеренности равна 4;

• у преподавателя 3 частота умеренности равна 4;

• у преподавателя 3 частота умеренности равна 3.

Выводы

Описательные вывод - в процессе оценочной деятельности возможны две крайности, с одной стороны, оценочное согласие, с другой стороны - оценочный конфликт, возможны ситуации умеренного соотношения двух крайностей.

Объяснительный вывод - в качестве гипотезы этого явления можно принять следующие суждения.

Если посмотреть в какой рейтинговый тип входят проекты по которым есть согласие, то, получается, что согласие достигается по явлению, которое можно обозначить -“что такое плохо”, или по проектам своеобразной “эталонной усредненности”.

В случае конфликта происходит несовпадение “точек зрения” по явлениям, которые можно обозвать “что такое хорошо” и “куда надо идти”. Конфликт в этом случае имеет природу различия: ценностей, идеалов, общих задач, принципов, программ. Возможно, что конфликт целей заложен в самом проекте, то есть, его истоки в конфликте целей самого студента.

Методический вывод - по-видимому, необходимо обращать внимание на конфликтные (проблемные) ситуации.

Возможна ли трансформация конфликтной целевой системы студента? Ответ в виде гипотезы - похоже на то, что трансформация конфликтной целевой системы студента возможна. Возможно ли сблизить ценности, идеалы, программы преподавателей? Эти явления очень устойчивы, формируются годами и даже десятилетиями.

Если можно, то для этого необходимы довольно большие усилия, продолжительное время, добрая воля участников, по видимому - это путь формирования “команды”, “школы”.

Если нельзя, то - это путь возникновения “политического движения”.

Совмещение, и того, и другого, приводит к “политическому движению”, как минимум двух, “команд или школ”.

Оценочное сотрудничество и противоборство

Из анализа исключены 4 проекта по которым проявилось согласие, а именно: проекты Студента 02, Студента 05, Студента 06, Студента 08.

Оценочное сотрудничество

Оценочное сотрудничество - это совпадение оценок выставленных преподавателями. Смотрите базу данных приведенных вначале.

Сотрудничество в процессе оценочной деятельности можно отразить следующей схемой.

st 601 

Пояснение к схеме.

Кругом обозначен преподаватель. Цифрами обозначены: Второй, Третий, Четвертый, Пятый, Шестой преподаватели.

Линиями обозначены связи сотрудничества. Сплошной линией обозначено сотрудничество в “игре” на повышение, совпадают максимально высокие оценки. Мелким пунктиром - сотрудничество в “игре” на понижение, совпадают максимально низкие оценки. Крупным пунктиром - сотрудничество в умеренной “игре”, совпадают средняя группа оценок.

Анализ представленной схемы возможен по следующим позициям.

Напряженность сотрудничества

Это явление можно оценить по количеству связей сотрудничества. Из восьми выставленных оценок полные совпадения оценок наблюдается от нуля до пяти раз.

Четыре или пять связей свидетельствуют об активном сотрудничестве, которое явно просматривается только между 2 и 5 преподавателем - это явление представим следующей схемой.

st 602

Отсутствие связей свидетельствует об отсутствии сотрудничества. Отсутствие сотрудничества - это полное несовпадение оценок. Отсутствие сотрудничества наблюдается между 6 и3, 6 и 5 преподавателями - это явление указано на схеме. На схеме проявился полюс несотрудничества исходящий от 6 преподавателя.

st 603

Все остальное, то есть, одна, две или три связи свидетельствует о разной степени умеренного сотрудничества. Схема умеренного сотрудничества представлена ниже. На схеме можно выделить полюс умеренного сотрудничества исходящий от фигуры четвертого преподавателя. Тонкой линией обозначена меньшая степень умеренного сотрудничества, толстой линией большая степень умеренного сотрудничества.

st 604

Сотрудничество в “перетягивании каната”

Сотрудничество в “перетягивании каната” - это сотрудничество в трех “играх”: сотрудничество в игре на повышение, сотрудничество в игре на понижение и сотрудничество в умеренной игре.

Оценочное сотрудничество в игре на повышение можно оценить по наличию таковых связей, отмеченных на схеме. Минимально сотрудничал в игре на повышение шестой преподаватель, максимально сотрудничал в игре на повышение второй преподаватель, остальные преподаватели умеренны в этом виде сотрудничества.

st 605

Сотрудничество в игре на понижение. По схеме приведенной ниже можно заключить, что игра на понижение шла менее активно. Второй, третий, пятый и шестой преподаватели в минимальной степени поддерживают игру на понижение. Скорее всего, что - это следствие противодействия первому преподавателю, который монополизировал игру на понижение, смотрите раздел по критичности преподавателей.

Тем не менее действия четвертого преподавателя можно квалифицировать как полюс игры на понижение.

st 606

Сотрудничество в умеренной игре. На схеме приведенной ниже явно видно, что полюс умеренной игры, также как игры на понижение, сосредотачивается на фигуре четвертого преподавателя. Минимальная поддержка умеренной игры относится к шестому преподавателю.

st 607 

Оценочное противоборство

Связь противоборства - это наличие разницы между минимальными и максимальными оценками. Оценочное противоборство можно определить по числу связей противоборства.

st 608 

В противоборстве можно выделить три стороны: максимальное, минимальное и умеренное противоборство.

Максимальное количество связей указывает на максимальное противоборство, которое в данном случае разворачивалось между вторым и третьим преподавателями.

st 609 

Наличие одной связи противоборства говорит о минимальном уровне противоборства, оно проявилось в виде треугольника, смотрите схему приведенную ниже.

st 610

Все остальное является умеренным противоборством. В данном случае можно выделить две стороны умеренного противоборства. Две или три связи указывают на рост напряженности, на схеме это явление отмечено тонкой линией. Четыре связи указывают на напряженность выше среднего. На схеме приведенной ниже можно выделить полюс умеренного противоборства исходящего от фигуры четвертого преподавателя.

st 611

Несотрудничество, но и непротивоборство

Тип связи - наличия разницы в оценках, когда хотя бы одна из оценок не является минимальной или максимальной.

st 612

Максимальная степень несотрудничества, но и непротивоборства проявилась между вторым и шестым, шестым и пятым преподавателями. Это явление следствие минимального противоборства, минимального и умеренного сотрудничества.

st 613

Минимальная степень несотрудничества, но и непротивоборства проявилось между вторым и третьим преподавателем - это явление вполне понятно так как между этими преподавателями разворачивалось максимальное противоборство, при одном случае сотрудничества остаток в виде непонятности остался в виде одной связи.

st 614

Все остальное относится к умеренному не сотрудничеству, но и не противоборству. Полюс умеренности этого типа также сходится на четвертом преподавателе. Тонкой линией обозначена минимальная умеренность, толстой максимальная умеренность.

st 615

Выводы

Все многообразие выше приведенных схем можно свести к одной схеме. Толстой линией обозначены экстремальные виды взаимодействия, тонкой линией обозначены умеренное взаимодействие. Максимальные и минимальные взаимодействия сосредотачиваются в двух полюсах - это фигуры второго и шестого преподавателей, максимальное сотрудничество, несотрудничество либо противоборство, непротивоборство направлено в сторону третьего и пятого преподавателя. Третий и пятый преподаватели при умеренном взаимодействии между собой и четвертым преподавателем максимально сотрудничают либо противоборствуют второму или шестому преподавателю. Стабилизирующей, умеренной фигурой является четвертый преподаватель на котором сосредотачиваются все виды умеренности, умеренного сотрудничества, умеренного противоборства с каждым из оставшейся четверки.

st 616

 

Понятийно - терминологический перечень

В результате проделанной аналитической работы возникла понятийно-терминологическая система для описания, объяснения, предсказания события, которое случилось, или которое может произойти, для использования в создаваемых методиках оценочной деятельности. Причем выделились ключевые понятия-термины и разъясняющие. Ключевые понятия-термины выделены жирным шрифтом. Первичные определения понятий приведены в тексте.

Оценочная позиция.

Средняя оценочная позиция.

Критичность.

Отрицательная критичность.

Положительная критичность.

Напряженность критичности.

“Что такое хорошо”.

“Что такое плохо”.

“Точка зрения”.

Совпадение “точек зрения”.

Несовпадение “точек зрения”.

Конфликт “точек зрения”.

Оценочное согласие.

Оценочный конфликт.

Напряженность согласия и конфликтности.

Частота индивидуального согласия.

Частота индивидуальной конфликтности.

Оценочное сотрудничество.

Связь сотрудничества.

Напряженность сотрудничества.

Сотрудничество в игре на повышение.

Сотрудничество в игре на понижение.

Сотрудничество в умеренной игре.

Оценочное противоборство.

Связь противоборства.

Напряженность противоборства.

Несотрудничество, но и непротивоборство.

Связь несотрудничества, но и непротивоборства.

Напряженность несотрудничества, но и непротивоборства.

 

 

У Вас недостаточно прав для добавления комментариев и вопросов. Возможно, Вам необходимо зарегистрироваться на сайте.
Регистрация находится на главной странице, "кликнуть" по трем полоскам вверху слева.

Яндекс.Метрика