Недавно мой друг, программист, рассказал, что он не читает требования, а вместо этого приглашает аналитика на чашку чая, они вместе садятся, и аналитик рассказывает, что должно быть реализовано. Мой друг - умный человек и хороший программист, и причина, почему он получает знания о требованиях именно так, не в том, что ему лень читать документацию, а в том, что, даже прочитав ее, он до конца не разберется, что же надо сделать. В данной статье я хочу рассказать, как можно написать требования к программному продукту так, что программисты не просто используют требования, но и участвуют в их написании; на основе собственно опыта я хочу показать, каким образом можно описать требования, чтобы эти описания были достаточными для реализации системы.
Целью нашей разработки было создание с нуля учетной системы для одной из крупных российских компаний. Система была призвана заменить текущую, написанную в конце 90-х. В результате были реализованы платформа и один из бизнес-модулей. В реализованной части было порядка 120 объектов, 180 таблиц, около 30 печатных форм.
Хочу оговориться, что подход, описанный ниже, не универсален для написания любого ПО. Он подходит для систем уровня предприятия, которые строятся на основе объектно-ориентированного подхода: учетных, CRM-, ERP-систем, систем документооборота и т.п.
Вся документация на наш программный продукт состояла из следующих разделов:
- Общая часть
Список терминов и определений
Описание бизнес-ролей - Требования
Бизнес-требования- Общие сценарии
- Сценарии использования
- Алгоритмы и проверки
Нефункциональные требования
Требования к интеграции
Требования к пользовательскому интерфейсу - Реализация
- Тестирование
- Руководства
- Управление
Системные требования описывали свойства и методы всех объектов системы.
Нефункциональных требований в данной статье мы касаться не будем. Могу лишь отослать вас к отличной книге Architecting Enterprise Solutions авторов Paul Dyson, Andrew Longshaw.
Требования к интеграции описывали низкоуровневый интерфейс взаимодействия новой системы с несколькими другими системами компании. Здесь мы их рассматривать не будем.
Требования к пользовательскому интерфейсу – отдельная большая тема, возможно, для другой статьи.
Также здесь я не буду касаться других разделов документации, которые относятся к реализации, тестированию, руководствам и управлению.
Давайте рассмотрим подробнее, что такое список терминов и зачем он нужен.
Список терминов и определений
Очень часто при обсуждении функциональности системы разговор заходит в тупик. Еще хуже, если стороны расходятся, думая, что обо всем договорились, но в результате имеют разное понимание того, что надо сделать. Это происходит не в последней степени из-за того, что изначально участники проекта не смогли договориться о том, что значат те или иные термины. Бывает, что даже самые простые слова вызывают проблемы: что такое пользователь, чем отличается группа от роли, кто является клиентом. Поэтому в отличие от описания бизнес-ролей для терминов необходимо давать как можно более точные определения.Поясню это на примере термина Пользователь . Википедия дает такое определение:
Пользователь - лицо или организация, которое использует действующую систему для выполнения конкретной функции.
Но нас оно не устраивало по нескольким причинам. Во-первых, в систему может зайти только человек, но не организация. Во-вторых, для нашей системы некорректно настоящее время глагола «использует» - система хранит данные о неактивных или удаленных пользователях, т.е. о тех, которые использовали систему ранее, но не могут в настоящее время. И наконец, у нас есть данные о потенциальных пользователях. Например, мы регистрируем сотрудника компании-клиента, который в дальнейшем может получить (а может и не получить) доступ в систему. Наше определение:
Пользователь
- человек, который имеет, имел, или, возможно, будет иметь доступ в систему для совершения операций.
Теперь программист, прочитав определение, сразу поймет, почему свойство Логин
в объекте Пользователь не обязательное.
Термины связаны друг с другом. В термине Пользователь используется «операция», поэтому приведу и ее определение:
Операция - совокупность действий, составляющих содержание одного акта бизнес-деятельности. Операция должна соответствовать требованиям ACID (Atomicity, Consistency, Isolation, Durability). Совокупность операций одного модуля представляет интерфейс взаимодействия клиент-сервер этого модуля.
Как видите, это определение очень важно для всей системы – оно не только связывает пользователя и его бизнес-действия с тем, что должно быть реализовано, но и накладывает требования на то, КАК должна быть реализована система (это КАК было определено ранее при разработке архитектуры) – бизнес-действия внутри операции должны быть внутри транзакции.
Работа над списком терминов происходила постоянно. Мы поддерживали его полноту, т.е. старались, чтобы в документации не было термина, который бы не был определен в этом списке. Кроме того, были случаи, когда мы меняли термины. Например, по прошествии нескольких месяцев с начала написания требований мы решили заменить Контрагент на Компания. Причина была проста: оказалось, что никто не в состоянии в речи, при разговоре, использовать слово «контрагент». А если так, то он должен был быть заменен на что-то более благозвучное.
Часто бывали случаи, когда приходилось прерывать обсуждение и лезть в требования, чтобы понять, подходит ли обсуждаемая функциональность под существующие определения. И для того, чтобы поддержать непротиворечивость требований, мы в итоге должны были или изменять реализацию, или корректировать описания терминов.
В итоге в списке у нас оказалось порядка 200 бизнес- и системных определений, которые мы использовали не только во всей документации, включая, например, и технический дизайн, разрабатываемый программистами, но и в разговоре, при устном обсуждении функциональности системы.
Второй частью, на которую опиралась вся документация, было описание бизнес-ролей.
Описание бизнес-ролей
Все знают, что используют систему пользователи. Но даже в небольшой системе они обладают разными правами и/или ролями. Наверное, самое простое деление – это администратор и рядовой пользователь. В большой системе ролей может быть несколько десятков и аналитику необходимо заранее об этом подумать и указывать роли при описании общих сценариев (смотри ниже) и в заголовках сценариев использования. Список бизнес-ролей используется для реализации групп и ролей пользователей, назначения им функциональных прав, он необходим тестировщикам, чтобы тестировать сценарии под нужными ролями.Бизнес-роли пользователей нам не пришлось выдумывать, поскольку в компании были устоявшиеся отделы, роли, функции. Описание ролей было дано на качественном уровне на основе анализа основных функций сотрудников. Окончательное наделение ролей конкретными правами происходило ближе к концу разработки, когда набор функциональных прав стал устойчивым.
Пара примеров:
Уровни требований
Одной из важных концепций, которую мы применяли при разработке требований, было разделение их на уровни. Алистер Коберн в книге Современные методы описания функциональных требований к системам выделяет 5 уровней. Мы использовали 4 – три уровня бизнес-требований плюс системные требования:Бизнес-требования
- Общие сценарии (соответствует уровню очень белого у Коберна)
- Сценарии использования (соответствует голубому)
- Алгоритмы и проверки (скорее черный)
Кроме того наши требования представляли из себя дерево (с циклами). Т.е. общие сценарии уточнялись сценариями использования, которые, в свою очередь, имели ссылки на проверки и алгоритмы. Поскольку мы использовали wiki, физическая реализация такой структуры не представляла проблем. Сценарии использования, алгоритмы и проверки использовали объекты, их свойства и методы, описанные на системном уровне.
Такая методология позволяла нам с одной стороны описывать текущий сценарий настолько подробно, насколько нужно на данном уровне, вынося детали на нижний уровень. С другой стороны, находясь на любом уровне можно было подняться выше, чтобы понять контекст его выполнения. Это так же обеспечивалось функциональностью wiki: сценарии и алгоритмы были написаны на отдельных страницах, а wiki позволяла посмотреть, какие страницы ссылаются на текущую. Если алгоритм использовался в нескольких сценариях, то он в обязательном порядке выносился на отдельную страницу. Такие фрагменты программисты обычно реализовывали в виде отдельных методов.
На картинке ниже представлена часть нашей иерархии (о содержании речь пойдет дальше).
Важно отметить, что если системный уровень описывал все без исключения объекты системы, то сценарии были написаны далеко не для всех случаев поведения пользователя. Ведь многие объекты, по сути, являлись справочниками, и требования к ним более-менее очевидны и похожи. Таким образом мы экономили время аналитика.
Интересен вопрос, кому в проектной команде какой из уровней нужен. Будущие пользователи могут читать общие сценарии. Но уже сценарии использования для них сложны, поэтому аналитик обычно обсуждает сценарии с пользователями, но не отдает их им для самостоятельного изучения. Программистам обычно нужны алгоритмы, проверки и системные требования. Вы однозначно можете уважать программиста, который читает сценарии использования. Тестировщикам (как и аналитикам) нужны все уровни требований, поскольку им приходится проверять систему на всех уровнях.
Использование wiki позволяло работать над требованиями параллельно всем членам проектной команды. Замечу, что в один и тот же момент разные части требований находились в разных состояниях: от находящихся в работе до уже реализованных.
Бизнес-требования
Общие сценарии
Корневая страница нашего дерева требований состояла из общих сценариев, каждый из которых описывал один из 24 бизнес-процессов, подлежащих реализации в данном модуле. Сценарии на странице располагались в той последовательности, в которой они осуществлялись в компании: от создания объекта с проданными товарами, до передачи их клиенту. Некоторые специфические или вспомогательные сценарии помещались в конце в отдельном разделе.Общий сценарий – это последовательность шагов пользователя и системы для достижения определенной цели. Описания общих сценариев были значительно менее формальны по сравнению со сценариями использования, поскольку они не предназначались для реализации. Основная цель общего сценария – это обобщить сценарии использования, подняться над системой и увидеть, что же в конечном итоге хочет сделать пользователь, и как система ему в этом помогает. Хочу заметить, что общие сценарии также содержали шаги, которые пользователь осуществлял вне системы, поскольку надо было отразить его работу во всей полноте, со всеми этапами, необходимыми для достижения бизнес-цели. На этом уровне хорошо видна роль системы в работе сотрудника компании, видно какая часть этой работы автоматизирована, а какая нет. Именно здесь становилось ясно, что некоторая последовательность действий, которую мы предлагали выполнить пользователю в системе, избыточна, что часть шагов можно сократить.
Некоторые другие цели общих сценариев:
- упорядочение знаний о работе пользователей и системы
- согласование бизнес-процессов с будущими пользователями
- основа для понимания того, что требования полны, что ничего не упущено
- входная точка при поиске нужного сценария или алгоритма
Как видите, только половина шагов автоматизирована, да и те описаны как можно более кратко. Также из первого шага видно, что ручной перевод задания на печать в статус ‘В работе’ в принципе лишний, можно упростить работу пользователя и автоматически переводить задание в этот статус при печати.
Ссылка «Задание на печать», указывающая на описание объекта в системных требованиях, лишняя, поскольку никому не требуется перепрыгнуть на него из общего сценария. А вот ссылка «пакетная печать документов на груз» важна – она ведет на сценарий использования, формально описывающий действия пользователя и системы.
Наши сценарии использования имели следующий формат:
- Заголовок со следующими полями:
статус (В работе | Готов к рецензированию | Согласован)
пользователи (по описанию бизнес-ролей)
цель
предусловия
гарантированный исход
успешный исход
ссылка на описание пользовательского интерфейса (разработанного проектировщиком интерфейсов)
ссылка на сценарий тестирования (заполнялось тестировщиками) - Основной сценарий
- Расширения сценария
Сценарии использования
Сценарий использования содержал пронумерованные шаги, которые в 99% случаев очевидным образом начинались со слов Пользователь или Система . Нумерация важна, поскольку позволяла в вопросах и комментариях сослаться на нужный пункт. Каждый шаг – это обычно простое предложение в настоящем времени. Проверки и алгоритмы выносились на следующий уровень и часто на отдельные страницы, чтобы упростить восприятие сценария, а также для повторного использования.Приведу сценарий использования, на который ссылается общий сценарий выше.
Часто аналитики рисуют пользовательский интерфейс и на его основе пишут сценарии, объясняя это тем, что так нагляднее. Доля истины в этом есть, но мы придерживались позиции, что интерфейс – это дело проектировщика интерфейса. Сначала аналитик описывает, что должно происходить, а затем проектировщик интерфейса рисует эскиз web-страницы или диалога. При этом бывало так, что сценарий приходилось менять. В этом нет ничего страшного, ведь наша цель - спроектировать все части системы так, чтобы было удобно пользователю. При этом каждый участник проектной команды, будь то аналитик или проектировщик интерфейса, обладая специфическими знаниями и внося свой вклад в общее дело, оказывает влияние на работу других членов команды проекта. Только вместе, объединив усилия, можно получить отличный результат.
Алгоритмы и проверки
Интересная проблема возникла при написании алгоритмов. Аналитик пытался их описать как можно более полно, т.е. включать все возможные проверки и ответвления. Однако получившиеся тексты оказывались плохо читабельны, и, как правило, все равно какие-то детали упускались (вероятно, сказывалось отсутствие компилятора -). Поэтому аналитику стоит описывать алгоритм настолько полно, насколько это важно в плане бизнес-логики, второстепенные проверки программист сам обязан предусмотреть в коде.Например, рассмотрим простой алгоритм ниже.
В алгоритме указана всего одна проверка, но очевидно, что при написании кода метода программист должен реализовать проверки на входные параметры; выбросить исключение, если текущий пользователь не определен и т.д. Также программист может объединить данный алгоритм с алгоритмами переходов в другие статусы и написать единый непубличный метод. На уровне API останутся те же операции, но вызывать они будут единый метод с параметрами. Выбрать лучшую реализацию алгоритмов – это как раз компетенция программиста.
Системные требования
Как известно, программирование – это разработка и реализация структур данных и алгоритмов. Таким образом, по большому счету, все, что надо знать программисту – это структуры данных, необходимые для реализации системы, и алгоритмы, которые ими манипулируют.При разработке системы мы использовали объектно-ориентированный подход, а поскольку в основе ООП лежат понятия класса и объекта, то наши структуры данных – это описания классов. Термин «класс» специфичен для программирования, поэтому мы использовали «объект». Т.о. объект в требованиях равен классу в объектно-ориентированном языке программирования (в скобках замечу, что в паре разделов требований пришлось изгаляться, чтобы в тексте разделить объект-класс и объект-экземпляр этого класса).
Описание каждого объекта располагалось на одной wiki-странице и состояло из следующих частей:
- Определение объекта (копия из списка терминов)
- Описание свойств объекта
- Описание операций и прав
- Данные
- Дополнительная информация
Первая таблица каждого объекта описывала признаки его свойств, необходимые для того, чтобы программист смог создать структуры данных в БД и реализовать объект на сервере приложения:
Название
Названием свойства оперирует как пользователь (например, «я изменил номер счета», Номер – свойство объекта Счет), так и проектная команда. Повсеместно в документации использовались ссылки на свойства в виде простой нотации Объект.Свойство, очевидной для любого участника проекта.
Тип
Мы использовали Datetime, Date, Time, GUID, String, Enum, Int, Money, BLOB, Array(), Float, Timezone, TimeSpan. Тип имел отражение на всех уровнях приложения: на уровне БД, сервера приложения, в пользовательском интерфейсе в виде кода и графического представления. Каждому типу было дано определение, чтобы их реализация не вызывала вопросов у программистов. Например, было дано такое определение типу Money: содержит вещественное число с точностью до 4-го знака после запятой, число может быть отрицательным и положительным; одновременно со значением система хранит валюту; валюта по умолчанию - российский рубль.
Признак редактируемости
Да
или Нет
в зависимости от того, позволяет ли система пользователям менять значение этого свойства в операции редактирования. В нашей системе это ограничение реализовывалось на сервере приложения и в пользовательском интерфейсе.
Признак наличия нуля
Да
или Нет
в зависимости от того, может ли поле не содержать значения. Например, поле типа Bool
должно содержать одно из возможных значений, а поле типа String обычно может быть пустым (NULL
). Это ограничение реализовывалось на уровне БД и на сервере приложения.
Признак уникальности
Да
или Нет
в зависимости от того, является ли это поле уникальным. Часто уникальность определяется на группе полей, в этом случае у всех полей в группе стояло Да+
. Это ограничение реализовывалось на уровне БД (индекс) и на сервере приложения.
И ПРИ НЕОБХОДИМОСТИ РАНЖИРУЙТЕ
СГРУППИРУЙТЕ КРИТЕРИИ
Достаточно ли у нас информации,
Каковы существенные факторы для данных групп
(на основании анализа работ)?
Являются ли выбранные критерии действительно важными?
чтобы оценить по выбранным критериям?
2. ОПИШИТЕ КРИТЕРИИ
Примечание: этапы 2 и 3 в зависимости от проекта
можно поменять местами.
Рис. 3.1. Разработка критериев оценки
На рис. 3.1 представлен «план» разработки критериев. В следующем параграфе рассмотрим подробно пример разработанных критериев.
Данные критерии могут использоваться при оценке рейтинговыми методами и самооценке. Следует подчеркнуть, что данные критерии не являются «истиной в последней инстанции» и могут изменяться в зависимости от потребностей организации и целей аттестации.
Оценка деятельности
Значительно превышает требования (5):
Всегда выполняет работу значительно лучше, чем требуется на данной должности.
Превышает требования (4):
Выполняет работу на более высоком уровне, чем требуется для данной должности.
Соответствует требованиям (3):
Выполняет работу в соответствии с требованиями.
Не всегда соответствует требованиям (2):
Выполняет работу в целом хорошо, но в ряде случаев допускает ошибки.
Не соответствует требованиям (1):
Деятельность не соответствует минимальным требованиям к данной должности.
Качество работы:
Работа выполняется без ошибок (или с незначительными ошибками, которые исправляются самостоятельно), аккуратно и тщательно.
(5) Постоянно очень высокий уровень аккуратности и точности, не требуется дополнительная проверка, можно положиться на его работу, может выполнять работу практически без помощи руководителя.
(4) Аккуратность и точность выше ожидаемого уровня, ошибки встречаются очень редко, хорошо выполняет инструкции, нуждается в незначительной помощи со стороны руководителя.
(3) Качество работы соответствует предъявляемым требованиям.
(2) Бывает небрежен, встречаются ошибки, иногда приходится проверять его работу.
(1) Низкое качество работы, постоянные ошибки, требуются постоянные проверки и исправления.
Объем работ (количество):
Работа выполняется в запланированном объеме.
(5) Очень быстрый и энергичный сотрудник. Постоянно и с легкостью делает больше, чем от него ждут.
(4) Работает быстро. Часто выполняет больший объем работ, чем запланировано.
(3) Работает стабильно. Выполняет плановые показатели.
(2) Работает медленно. Необходимо «подгонять».
(1) Работает медленно, теряет много времени впустую, не справляется с запланированным объемом работ.
Профессиональные знания:
Обладает знаниями, необходимыми для данной должности.
(5) Блестящее знание своего дела, значительно превышающее необходимый уровень. Разъяснения со стороны руководителя требуются минимальные.
(4) Профессиональные знания превосходят необходимый уровень. Хорошо понимает свои обязанности. Редко требуются разъяснения со стороны руководителя.
(3) Знания соответствуют выполняемой работе. В некоторых случаях нуждается в дополнительных инструкциях.
(2) Не всегда хватает знаний. Многие рабочие вопросы нуждаются в дополнительных разъяснениях.
(1) Явная нехватка знаний. Плохо понимает свою работу. Нуждается в постоянных разъяснениях.
Присутствие на работе/дисциплина:
В рабочее время занят работой. Редкие пропуски по уважительной причине, оговоренные заранее. (5) Чрезвычайно надежен. Всегда на работе и вовремя.
(4) Надежен. Редко отсутствует, если отсутствует, то по уважительной причине. Всегда ставит заранее в известность об отсутствии руководителя и коллег.
(3) Случается отсутствие на работе по уважительной причине, не имеющее серьезных негативных последствий для работы. Об отсутствии предупреждает заранее.
(2) Ненадежен. Не всегда пунктуален. Об отсутствии иногда забывает своевременно предупредить.
(1) Часто отсутствует или опаздывает. Крайне ненадежен. Своевременно никого не ставит в известность об отсутствии.
Умение анализировать, оценивать факты, применять логику:
В своей работе логичен, внимателен к фактам, анализирует и оценивает данные (задачу, ситуацию).
(5) Всегда проявляет логику, анализирует всю имеющуюся информацию, на основании которой предлагает верные решения и рекомендации. Стремится собрать и использовать максимум информации даже за пределами своих непосредственных обязанностей.
(4) Относится к выполнению работы тщательно и взвешенно, выводы и решения подкреплены анализом и фактами.
(3) Избегает скоропалительных решений. В рамках выполняемых задач готов обосновать свои действия.
(2) Не всегда обосновывает свои выводы и решения. Может действовать слишком поспешно.
(1) Поверхностно подходит к своей работе. Предложения, как правило, необоснованны и скоропалительны. Не стремится разобраться в сути проблемы. Пропускает очевидные факты. Небрежен с информацией.
Умение принимать решения и брать на себя ответственность:
В рамках своих обязанностей принимает решения и отвечает за них.
(5) В любой ситуации готов принять решение и нести за него ответственность. Если необходимо срочно принять решение, выходящее за пределы его полномочий, и нет возможности проконсультироваться с руководством, готов взять всю ответственность на себя.
(4) Не боится принимать решения, даже сложные и ответственные. Не уходит от ответственности.
(3) Всегда принимает решения в пределах своей компетенции и отвечает за них. В сложных ситуациях стремится заручиться поддержкой руководства.
(2) Предпочитает не принимать решений самостоятельно. Даже в незначительных вопросах пытается получить одобрение руководства.
Обучаемость/отношение к новому:
Умеет принимать новые задачи, знания, условия.
(5) Адаптивен и гибок. Легко принимает нестандартные задачи и усваивает новые знания. Без труда выполняет самые разнообразные задания. Постоянно без принуждения стремится к получению новых знаний и умеет применить их на практике.
(4) Быстро усваивает новое. Начинает работать над новыми задачами без особых трудностей.
(3) Не избегает нового, но и не стремится к нему. Может выполнять несколько разных заданий, но при появлении новых нуждается в поддержке и разъяснениях.
(2) Медленно осваивает новые задачи и с трудом приспосабливается к меняющимся условиям. С трудом переходит от одной задачи к другой. Не стремится к получению новых знаний.
(1) Неспособен осваивать новые области. Отказывается учиться. Упорствует в желании работать по однажды утвержденному образцу. Сопротивляется любым изменениям.
Лояльность к организации (отделу):
Уважительное отношение к организации.
(5) Очень хорошо знает организацию и предан ей. Всегда ставит интересы организации выше своих. Даже если дела идут недостаточно хорошо, никогда не позволяет себе плохо отзываться об организации. Позитивно и с энтузиазмом говорит об организациии, руководстве, коллегах как на работе, так и за ее пределами. Искренне гордится своей организацией.
(4) Позитивно воспринимает организацию и себя в организации. Не позволяет себе неконструктивной критики или брюзжания. Доволен тем, что работает в организации.
(3) Доволен тем, что работает в организации. Избегает публично выражать недовольство организацией, коллегами, начальником.
(2) Не ощущает себя частью организации. Иногда не сдерживает негативные эмоции по отношению к организации.
(1) Крайне негативно относится к организации. Преследует свои личные цели. Критикует организацию и коллег как на работе, так и за ее пределами.
Умение планировать/организовывать работу:
Организация и планирование своего рабочего времени.
(5) Умеет самостоятельно и рационально поставить задачи, определить приоритеты, составить текущий план работы. Ни минуты рабочего времени не пропадает даром. Коллеги, связанные с ним по работе, всегда заранее знают, какие материалы он потребует и когда они получат результаты его работы. Всегда своевременно выполняет задания без дополнительного контроля.
(4) Умеет самостоятельно и эффективно планировать свое время и координировать свои планы с планами коллег.
(3) С помощью начальника планирует график своего рабочего времени, согласованный с планом работы коллег. В подавляющем большинстве случаев придерживается плана.
(2) Нуждается в том, чтобы начальник разработал для него план. Часто отступает от плана, забывает необходимое.
(1) Неорганизован и часто делает задания не вовремя. Опаздывает и забывает. Регулярно подводит коллег.
Инициативность/творческий подход:
Старается усовершенствовать свою деятельность, сделать ее более эффективной. (5-4) Постоянно ищет новые возможности для повышения эффективности своей работы и работы своей команды. Не боится экспериментировать и выдвигать новые идеи. В результате его предложений значительно ускорились процессы (вырос объем работ, сократились расходы). «Генератор идей».
(3) Для повышения эффективности своей работы регулярно вносит предложения.
(2-1) Избегает проявлять инициативу даже в тех случаях, когда это необходимо. Сторонник рутины. Сколь бы ни была очевидна неэффективность работы, предпочтет морально устаревший «образец». Ни разу не внес никаких предложений, проявляет безразличие к работе. Достижение ключевых результатов/приоритеты:
Умение выделить наиболее важные для организации задачи в определенный момент времени и выполнять их в первую очередь.
(5-4) Умеет расставить приоритеты и выделить те задачи в работе, которые наиболее важны для организации. Инициирует и принимает участие в проектах, важных для развития организации.
(3) При наличии соответствующих инструкций и рекомендаций определяет приоритетные направления в своей работе в соответствии с их значимостью для организации.
(2-1) Часто не задумывается, что и зачем он делает, какое значение это имеет для организации. Несмотря на инструкции, предпочитает делать в первую очередь то, что сам считает нужным. В результате его вклад в общее дело не ощутим.
Коммуникации, устные и письменные:
Умение выразить свои мысли ясно, точно и эффективно.
(5-4) Очень хорошо излагает свои мысли, как устно, так и письменно. Неагрессивен. Логично и аргументировано умеет убедить в своей правоте с учетом интересов организации, руководителя, коллег. Письменные отчеты и докладные записки не нуждаются в дополнительных комментариях. Когда он высказывает свои мысли, избегает красивых поз и говорит по существу.
(3) Умеет разъяснить свою позицию и подготовить грамотный отчет.
(2-1) С трудом излагает свои мысли. Вместо того чтобы ответить на уточняющие вопросы, обижается, что его не понимают. Занимает агрессивную или оборонительную позицию. Письменные отчеты изобилуют ошибками, в них отсутствуют логика и структура, подготовлены небрежно. Работа в команде:
Умение работать вместе с коллегами в интересах команды.
(3) Корректен и доброжелателен. Помогает коллегам, проявляет заинтересованность в общем успехе. Надежен.
(2-1) Преследует свои личные интересы вне зависимости от того, как его интересы соотносятся с интересами команды. Проводит четкое разделение между своей и чужой работой. Не заинтересован в общем результате, обращает внимание только на свой узкий участок работ. Отказывается помогать другим членам команды, часто ставя под угрозу общий результат.
Умение контролировать эмоции:
Умение держать себя в руках и вести сообразно ситуации.
(5-4) Хорошо работает не только в обычной, но и в стрессовой ситуации, всегда сохраняет оптимизм, выдержку и позитивное отношение к работе и окружающим. Его никто никогда не видел «вышедшим из себя». Когда дела идут плохо, он своим поведением успокаивает окружающих. Его зрелость и умение контролировать эмоции - одна из причин того, что коллеги стремятся работать над проектами совместно с ним.
(3) Ровное, спокойное отношение к работе и к коллегам. Старается сдерживать себя даже в сложной ситуации. Сам оценивает и исправляет последствия допущенных эмоциональных отклонений.
(2-1) С ним тяжело работать - постоянное недовольство и недоброжелательное отношение отталкивают от него окружающих и создают напряженность в коллективе. Эмоциональное поведение неровное, характеризуется взлетами и провалами.
Отношения с руководителем:
Умение подчиняться распоряжением руководства и вести конструктивные переговоры.
(5-4) Всегда открыт для беседы с руководителем. Решения руководителя, даже если он с ними не согласен, принимает с уважением и исполняет. Если имеет точку зрения, отличную от точки зрения руководителя, доносит ее до руководителя взвешенно и аргументированно. Поддерживает авторитет руководителя и всегда готов быть для него опорой.
(3) Выполняет решения руководителя. При наличии разногласий стремится решить их конструктивно, не доводя разногласия до спора и конфронтации. Не обсуждает своего руководителя со своими подчиненными и коллегами.
(2-1) Открыто противостоит руководителю и обсуждает поведение и действия руководителя за его спиной с подчиненными и коллегами. Не считает обязательным выполнять распоряжения.
Внешний вид и рабочее место:
Умение одеваться в соответствии с ситуацией и содержать рабочее место в порядке.
(5-4) Всегда хорошо и в соответствии с ситуацией одет. Рабочее место всегда в порядке, даже в разгар напряженной работы. Порядок на рабочем месте и на полках дает возможность коллегам без труда найти нужную информацию в случае отсутствия или занятости сотрудника.
(3) Одет, как правило, в соответствии с ситуацией и опрятно. Наводит порядок на рабочем месте в конце дня.
(2-1) Одевается в зависимости от настроения, часто не обращая внимание на ситуацию и окружение. Недостаточно опрятен. Рабочее место постоянно в беспорядке, что приводит к потере нужных бумаг.
УДК 338.23
разработка системы критериев
и методических подходов
к экспертной оценке эффективности
деятельности научных организаций*
с. В. ПРОНИЧКИН, кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mail. ru Институт системного анализа РАН И. П. ТИХОНОВ, кандидат технических наук, ведущий научный сотрудник E-mail: 8tat@mail. ru Институт химической физики РАН
В статье представлены результаты сравнительного анализа существующих подходов к оценке эффективности деятельности научных организаций в России и за рубежом. Для оценки эффективности деятельности научных организаций предложено использовать вербальные экспертные методы, которые не требуют проведения громоздких и трудоемких вычислений множества числовых показателей и весовых коэффициентов, основываются на предлагаемой оригинальной системе качественных критериев.
Ключевые слова: критерий, вербальный анализ решений, экспертиза, компетентность.
Экономика современных промышленно развитых стран все в большей степени основывается на знаниях, которые воплощаются в результатах научно-технической деятельности. Одним из главных источников развития научно-технического комплекса России, его реструктуризации, модернизации и устойчивого подъема при переходе к инновационному типу развития являются результаты фунда-
* Статья подготовлена при поддержке РФФИ (проект № 12-07-00509).
ментальных исследований. Большинство государственных инвестиций в исследования и разработки фундаментального характера имеют своей целью содействие расширению фундаментальной базы знаний. Оценка эффективности деятельности научных организаций позволит различным федеральным органам более эффективно разрабатывать политику развития научного комплекса России .
Анализ опыта деятельности научных организаций зарубежных стран показал, что можно выделить два подхода к оценке эффективности их деятельности, которые лучше рассмотреть на примере. Обратимся сначала к опыту Европы (выделим Великобританию), а затем рассмотрим опыт России.
Фундаментальными исследованиями в Великобритании занимаются так называемые классические университеты. Оценка их деятельности осуществляется регулярно, раз в три года университет направляет на экспертизу отчет, в котором указывает наиболее значимые результаты своей деятельности. Отчет поступает на экспертизу (peer review), которая является анонимной с двух сторон (double blind). В качестве экспертов выступают ведущие
специалисты от бизнес-сообщества и ученые из образовательных учреждений.
Научная деятельность в Великобритании оценивается по полученным результатам с использованием всего трех критериев :
1) новизна, значимость и глубина проработки;
2) масштабность результата исследования;
3) конкурентоспособность.
Каждый из критериев имеет пять градаций оценок. Каждая градация имеет словесное описание применительно к конкретной сфере научного знания (например, физика, химия, социология). Всего выделено 36 областей научного знания.
Критерию сопоставлен коэффициент его важности: 1 - 0,65; 2 - 0,2; 3 - 0,15.
Градации шкалы критерия сопоставлены баллы: 0, 1, 2, 3, 4, 5.
Подход к оценке результатов научной деятельности в Великобритании основывается исключительно на экспертных количественных оценках.
Рассмотрим российский опыт. Согласно официально принятой типовой методике, утвержденной приказом Министерства образования и науки РФ от 14.10.2009 №№ 406, оценка результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, проводится на основе анализа и сопоставления показателей результативности их деятельности . Оценка проводится ежегодно, причем установлены шесть основных направлений оценки, по каждому из них выбраны несколько критериев и соответствующих количественных показателей:
1) научный потенциал и эффективность научных исследований;
2) вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;
3) коммерциализация и прикладное значение результатов исследований;
4) кадровая обеспеченность научной организации;
5) ресурсная обеспеченность научной организации;
6) состояние финансовой деятельности научной организации.
Предусматривается также, что возможна одновременная оценка группы научных организаций, имеющих сходные цели, работающих в одной области науки или осуществляющих деятельность в
сходных условиях (референтные группы). Однако отсутствуют ясные правила формирования референтных групп, в типовой методике указывается, что референтые группы формируются по мере необходимости. В референтной группе организации сравниваются по общим для всех организаций показателям.
В указанные шесть групп критериев включаются исключительно количественные «измеримые» показатели, а именно: удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ; число публикаций работников научной организации, индексируемых в базе данных Web of Science; число охраняемых объектов интеллектуальной собственности.
Подход к оценке результатов научной деятельности в России основывается исключительно на количественных показателях.
Отметим ключевые методологические отличия официального подхода к оценке деятельности научных организаций, принятого в России, по сравнению с подходом, принятым в Великобритании.
В России не учитывается длительность цикла производства фундаментального научного результата. Если взять такие области знания, как физику, химию, биологию, то длительность цикла научного исследования и соответственно публикация его результатов, как правило, занимает гораздо больше времени, чем для гуманитарных наук (например экономики). Таким образом, классифицировать и ранжировать научные организации разных профилей по числу публикаций просто нецелесообразно, поскольку они практически несравнимы.
Отличительной особенностью подхода в России является большое количество показателей оценки - 48. Такое количество показателей создает известные трудности по их сбору, обработке и анализу, причем предопределяет невозможность выделить главное. Видимо, кто-то основывается на вере в то, что с помощью большого числа показателей в науке можно что-то точнее охарактеризовать. Однако получается, что «вместе с водой выплескиваем и ребенка»: хотели как лучше, а получается как всегда. Обстоятельная критика такого подхода, применяемого в настоящее время для оценки высших учебных заведений категории «национальный исследовательский университет», представлена в работе С. В. Проничкина, В. И. Круглова, В. П. Соловьева, А. И. Кочетова .
В работе А. Ф. Яковлева справедливо отмечено, что ряд показателей типовой методики не могут быть применены при оценке социогумани-тарных исследований: патентные исследования, коммерциализация результатов и взаимодействие с реальным сектором экономики. Эти показатели должны быть заменены на другие, релевантные гуманитарным исследованиям.
Важно отметить, что системы оценки в России и Великобритании не разделяют науку на фундаментальную и прикладную. Если это фундаментальная наука, то нужно оценивать качество фундаментальных результатов, практическое использование которых часто трудно представить. А если это прикладные исследования, то надо оценивать те практические результаты, которые получены.
Ключевым недостатком подходов как в России, так и в Великобритании является то, что и те и другие используют так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, ведь он содержит целый ряд методологических дефектов. Укажем наиболее важные из этих дефектов.
Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» и «объективно» выражали плохо формализуемые свойства научно-технических результатов и одинаково понимались разными людьми.
При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например, использование шкалы с градациями 1-2-3, 1-3-5-7-9 или др.). Более того, как было убедительно показано, использование порядковых шкал, имеющих разные числовые шкалы, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую наперед заданную ранжировку и любую классификацию многопризнаковых объектов.
Наконец, при использовании шкал числовых оценок появляется искушение сформулировать один «простой» и «понятный» итоговый показатель, агрегирующий частные оценки (который
обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей, увеличивает возможность присвоения содержательно незначительным результатам научных организаций достаточно высоких итоговых оценок.
Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета.
Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.
Анализ числовых показателей, используемых в типовой методике, позволяет определить состояние отдельных направлений деятельности научной организации, выделить ее «сильные и слабые стороны». Гораздо сложнее при таком подходе провести сравнительный анализ нескольких организаций. На сегодняшний день задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций по существу остается актуальной.
Эффективность деятельности научной организации (эффективность ее результатов) наиболее адекватно можно характеризовать исключительно разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена, главным образом, по результатам экспертизы.
В исследованиях А. Б. Петровского, Г. В. Рой-зензона, И. П. Тихонова, А. В. Балышева, Э. Н. Яковлева для оценки деятельности научных организаций используется разработанная специалистами
экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: 1) оценки научной деятельности (НД); 2) оценки финансово-экономической деятельности. Группа оценки НД включает пять критериев:
1) уровень научных результатов;
2) признание научных результатов;
3) квалификация научных кадров;
4) возраст научных работников;
5) степень обновления научного оборудования.
Среди этих критериев важнейшим является
первый - «Уровень научных результатов», ведь именно результаты, собственно научная продукция, являются первоосновой при оценке эффективности научных организаций. Поэтому применительно именно к этому критерию рассмотрим далее возможности применения адекватных методов оценки.
В данной работе предлагается новый подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций. Предлагаемая методология основывается на групповом упорядочивании многопризнаковых объектов с использованием оригинальных методов вербального (качественного) анализа решений .
Вербальный анализ решений представляет собой относительно новый подход в теории и практике многокритериальной оценки и сравнения альтернатив. Он разрабатывается в течение многих лет в Институте системного анализа РАН сначала под руководством академика РАН О. И. Ларичева, а затем доктора технических наук А. Б. Петровского, причем успешно применяется при решении различных задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков как количественных, так и качественных (последние играют не меньшую роль, чем первые). Степень достижения требуемого значения показателя качества измеряется многими критериями с вербальными шкалами.
В развитие упомянутых исследований для более детальной оценки результатов научных организаций в рамках критерия «Уровень научных результатов» была разработана система, состоящая из семи качественных критериев:
1) характер результата:
Теоретический результат;
Экспериментальный результат, имеющий материальное воплощение и направленный на
создание и совершенствование промышленных технологий и продукции;
Информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий;
Результат опытно-конструкторской разработки;
Тестирование, испытание, апробация;
2) вид результата:
Автоматизированный комплекс;
Агрегат;
Алгоритм;
Аппарат;
База данных;
Другие виды;
3) вклад результата в решение основных задач научной организации:
Результат вносит существенный вклад в решение основных задач научной организации;
Результат вносит определенный вклад в решение основных задач научной организации;
Результат вносит некоторый вклад в решение основных задач научной организации;
Результат не влияет на решение основных задач научной организации;
4) вклад результата в решение социальных проблем:
Создание условий для повышения качества жизни;
Повышение уровня образованности и информированности населения;
5) востребованность результата:
Актуальность результата;
Уровень научно-технической значимости результата;
Уровень конкурентоспособности результата;
Возможный спрос на результат;
Возможная сфера использования результата;
Возможный масштаб применения результата;
6) практическая реализуемость результата:
Степень проработки результата;
Возможность тиражирования результата;
Уровень правовой охраны результата;
Возможные сроки практической реализации результата;
7) готовность потребителей к освоению результата:
Готовность производственной базы к освоению результата;
Готовность производственного персонала к освоению результата;
Готовность системы материально-технического обеспечения к освоению результата;
Наличие финансовых средств для освоения результата;
Наличие опыта освоения результата.
Первые два критерия классифицируют результаты по характеру и виду. Третий критерий учитывает непосредственный вклад результата в решение основных задач научной организации. Четвертый критерий дает оценку вклада результата научной организации в решение социальных проблем. Пятый критерий позволяет получить оценку востребованности результата научной организации.
Возможность практической реализации результата научной организации служит основой научно-технического прогресса . Для оценки практической значимости результата предназначены шестой и седьмой критерии.
Критерии с четвертого по седьмой включают в себя подкритерии, их характеризующие.
Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «Актуальность результата» имеет такой вид:
Требуется безотлагательное применение результата;
Результат потребуется в ближайшее время;
Результат потребуется в отдаленной перспективе;
Оценить неотложность применения результата затруднительно.
Для организации и проведения экспертизы результатов научных организаций разработаны методические рекомендации, в которых нашли отражение следующие ключевые моменты:
1) общие положения;
2) цели, задачи и принципы экспертизы;
3) объекты и субъекты экспертизы;
4) порядок проведения экспертизы;
5) нормативно-методическое обеспечение экспертизы;
6) организационно-техническое и финансовое обеспечение экспертизы.
Объектами экспертизы служат результаты научных организаций. Для инвентаризации и анали-тико-информационного представления результатов создается специализированный реестр, который
обеспечивает автоматизированный поиск требуемых данных по критериям оценки результатов, другим ключевым показателям и индикаторам. Организационно-методическое обеспечение, предназначенное для построения и ведения реестра результатов научных организаций, предусматривает реализацию следующих положений:
1) цели и основные принципы создания и функционирования реестра;
2) структура реестра;
3) права и обязанности держателя реестра;
4) пользователи реестра и их взаимоотношение с держателем реестра;
5) ликвидация реестра.
Субъектами экспертизы выступают эксперты - известные ученые и специалисты, работающие в институтах РАН, высших учебных заведениях, отраслевых научных организациях. Отбор экспертов представляет собой достаточно сложную задачу, от решения которой в значительной мере зависит эффективность использования методов сбора и обработки суждений экспертов и, в конечном итоге, качество экспертизы в целом и корректность решений, принимаемых на базе экспертных заключений.
Определенную помощь при отборе экспертов может оказать сопоставление кандидатов в эксперты по индивидуальным качествам, которыми должен обладать, по мнению психологов и специалистов по проведению экспертиз, «идеальный» эксперт . При формировании реестра экспертов целесообразно учитывать их компетентность, которую можно оценить, например, по следующим показателям:
1) профиль и уровень образования;
2) связь профиля профессиональной деятельности с областью экспертизы;
3) опыт и стаж работы по профилю;
4) характер и уровень проблем, рассмотренных ранее экспертом, выполненных экспертиз, сбывшихся прогнозов.
Процедура экспертизы результатов научных организаций предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов и анализ итогов экспертизы по различным критериям.
В целях повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научный результат по критериям, приведенным в экспертной анкете, а также
дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами индивидуальной экспертизы являются многокритериальная экспертная оценка научного результата и письменное экспертное заключение.
Формализацию понятия «эффективность деятельности научной организации» предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным выше критериям, а классами решений являются различные градации интегрального критерия «Эффективность деятельности научной организации». Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.
Ранжирование результатов научных организаций предлагается осуществлять, используя метод группового упорядочения объектов АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) . Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данными всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок, причем исключает необоснованную трансформацию исходной вербальной информации в числовую форму.
В заключение следует отметить, что предлагаемые методические подходы и система критериев представляют собой прозрачный механизм оценки деятельности научных организаций по их результатам. Методические подходы не требуют проведения громоздких и трудоемких вычислений сотен числовых показателей и весовых коэффициентов. Данная работа будет продолжена в дальнейшем в направлении детализации остальных критериев оценки результатов деятельности научных организаций.
Список литературы
1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.
2. Многокритериальный анализ деятельности научных организаций / А. Б. Петровский, Г. В. Рой-зензон, И. П. Тихонов, А. В. Балышев, Э. Н. Яковлев // XIII Национальная конференция по искусственному интеллекту с международным участием (КИИ-2012). Труды конференции. Т. 3. Белгород: Изд-во БГТУ. 2012. С. 64-71.
3. Неволин И. В., Хрусталёв О. Е., Хрус-талёв Ю. Е. Методология оценки финансовой значимости и реализуемости инновационных проектов создания интеллектуальной продукции // Финансовая аналитика: проблемы и решения. 2013. № 11 (149). С. 39-45.
4. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6-16.
5. Петровский А. Б. Теория принятия решений. М.: Изд. центр «Академия», 2009.
6. Проничкин С. В. Разработка компетентнос-тной модели эксперта для независимой оценки образовательной деятельности вузов // Сб. мат-лов Международной межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14-21.04.2009, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». М.: МИСиС, 2009. С. 399-400.
7. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.
8. Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: утверждена приказом Министерства образования и науки РФ от 14.10.2009 № 406.
9. Яковлева А. Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / Ин-т философии РАН; сост. и отв. ред. А. В. Рубцов. М. : ИФРАН, 2012. С. 144-156.
10. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.
Разработка контрольных заданий, зачетных и экзаменационных вопросов, заданий для тестирования - важная часть работы преподавателя по разработке учебного курса. Содержание и характер этих заданий определяются программой учебного курса, целями и задачами, которые ставит преподаватель. В процессе этой работы может оказаться полезным уже существующий опыт других преподавателей (Турусова, 1994; Полякова, 1995; Контрольные работы по психологии, 1998; Климов, 1999; Каган, 1999).
При подготовке курса важно заранее спланировать некоторые аспекты оценочной системы.
1. Общий принцип оценивания: по «кривой нормального распределения» или в соответствии с определенными заранее заданными критериями.
2. Из каких проверочных процедур (тестов, контрольных заданий, письменных самостоятельных работ, зачета, экзамена) будет складываться общая оценка успешности изучения студентами курса.
3. Значение, которое будет придаваться различным заданиям и экзаменационным процедурам в оценивании успешности освоения студентом курса в целом.
4. Критерии в оценке успешности выполнения проверочных заданий и сдачи экзамена.
5. Какие «премиальные» и «штрафные» баллы будут начисляться в процессе учебных занятий, выполнения самостоятельных заданий, при сдаче экзамена.
6. Какие «штрафы» будут предусмотрены за более позднюю сдачу заданий, тестов?
7. Каковы минимальные критерии для получения удовлетворительной отметки по курсу?
8. Какие требования существуют в отношении сроков и способов пересдачи неудовлетворительно выполненных заданий?
Подробнее о разработке оценочной системы, проверке и оценке знаний по психологии мы говорили выше.
Рабочая программа, тематический план, критерии оценки знаний студентов необходимы для методического обеспечения работы преподавателя. Однако не менее важно, чтобы они были известны студентам с самого начала учебного курса (желательно с первого дня занятий). В этом случае они будут служить им руководством в изучении курса, напоминанием об основных сроках и заданиях, которые они должны выполнить.
Общий обзор целей, содержания и организации учебного курса, детальное разъяснение рабочей программы, ответы на вопросы студентов дают им отличное введение в курс и обычно занимают значительную часть времени на первом занятии.
8. Планирование отдельных учебных занятий и составление конспектов
Следующей задачей преподавателя является подготовка учебных занятий - лекций, семинаров, практических занятий, уроков, а также разработка заданий для самостоятельной работы. Методика проведения каждого из перечисленных видов занятий имеет свою специфику, что, естественно, отражается и на подготовке к ним. Об этом речь шла в предыдущих главах.
Здесь мы остановимся на некоторых общих моментах. Задачами подготовительной работы преподавателя к занятию являются:
Ø определение целей занятия;
Ø выбор знаний и умений, которые должны быть изучены в ходе занятия;
Ø подбор методов и приемов обучения;
Ø разработка методов контроля и оценки успешности занятия;
Ø планирование этапов занятия;
Ø подготовка конспекта (плана) занятия.
При этом важно обратить внимание на следующие вопросы:
1. Какие цели ставятся на занятии? Что должны узнать студенты (учащиеся), что изучить, какими знаниями овладеть, какие умения приобрести? Какие ценности, личностные (или профессиональные) качества будут развиваться благодаря участию в занятии?
2. Какие знания приобретут студенты (учащиеся)? Какие психологические феномены, эмпирические факты, теории, понятия, связи, закономерности будут изучаться на занятии?
3. Какие примеры и иллюстрации будут использоваться для объяснения данного учебного материала? Будут ли это данные эмпирических исследований, практической психологической работы или примеры из жизни?
4. Каким образом будут демонстрироваться возможности практического применения психологических знаний?
5. Какие умения оперирования психологическими знаниями будут формироваться на занятии?
6. Какие методы учебной работы наиболее подходят для достижения поставленных целей занятия?
7. Какие методические приемы будут способствовать усвоению определенных знаний и умений?
8. Какие раздаточные и демонстрационные материалы потребуются?
9. Какие критерии и процедуры будут использоваться для контроля и оценки успешности занятия?
10. Какие основные этапы будет включать занятие? Каковы цели каждого этапа? Какова их ориентировочная длительность? Какие виды деятельности преподавателя, с одной стороны, и студентов (учащихся), с другой стороны, планируются на каждом этапе?
Заключительным этапом подготовки к занятию является составление его конспекта, в котором обычно отражаются ответы на все вышеперечисленные вопросы. Его полезно писать (или печатать) достаточно четким и крупным шрифтом, чтобы он был читабельным и удобным в использовании в любых условиях учебного занятия. Оформление конспекта может быть разным в зависимости от вида занятий (лекция, семинар, практическое занятие, урок), однако его расположение на листе бумаги должно помогать преподавателю быстро и четко выделять наиболее важные методические аспекты занятия.
Важными задачами при разработке преподавателем заданий для самостоятельной работы студента являются:
1. формулировка цели задания, а также знаний и умений, которые должны быть усвоены при его выполнении;
2. постановка задач, которые должны быть решены при выполнении задания;
3. характеристика средств выполнения задания;
4. характеристика источников, которыми можно пользоваться при выполнении задания;
5. примерная оценка времени, которое потребуется для выполнения задания;
6. определение срока, к которому задание должно быть выполнено, и места, куда оно должно быть сдано;
7. формулировка штрафных санкций за сдачу задания позже назначенного срока;
8. разработка и формулировка критериев оценки выполненного задания.
В соответствии с вышеперечисленными задачами должна быть подготовлена четкая (желательно письменная) методическая разработка указаний по выполнению задания для студентов.
Известно, что критерий - это правило выбора решения. Критерий призван связать любые действия, осуществляемые в системе, с целями ее функционирования. Критерий позволяет отбирать наилучшим образом средства для достижения цели. Поскольку создание и использование различных средств достижения цели связаны с затратами на их создание и эксплуатацию, критерий должен соизмерить эти затраты с достигаемыми с их помощью результатами по реализации целевых задач. Критерий выступает «полномочным представителем» цели во всей системе. Он описывает задачи системы в более емкой и, как правило, более удобной форме, чем раздельное описание целей и возможных средств их достижения. Требуется лишь периодически анализировать соответствие используемых критериев целям системы, не допуская смещения целевых установок, вытекающих из используемых критериев, от главных целей системы. Это смещение часто становится главной проблемой в различных системах.
В экономических системах критерий приобретает ряд особенностей, связанных с характером общественной организации производства. Центральными задачами экономических критериев являются оценка эффективности принимаемых решений, соизмерение общественной потребности и степени ее удовлетворения, оценка общественной необходимости, общественной полезности создаваемой или используемой системы. Другой важной стороной экономических критериев выступает необходимость соизмерения результатов и затрат на их достижение. Как результаты, так и затраты - материальные, фондовые, трудовые - весьма различны по своему составу и характеру, так что критерий должен «уметь» соизмерять их единой мерой, общим способом. Третья важная сторона экономических критериев - непрерывная сравнительная оценка возможности применения ресурсов, используемых в процессе создания и эксплуатации систем. Для каждой системы существует много вариантов исполнения, различающихся по материало-, энерго-, фондо- и трудоемкости, внутри каждого вида ресурсов существуют большие возможности взаимозамещения. Четвертой важной стороной являются единая стоимостная мера и единый способ измерения на основе закона стоимости. Каждый экономический критерии отражает частные, отдельные стороны экономической системы. Более того, содержание критерия зависит от способа его использования. Системой критериев мы называем взаимосвязанный комплекс экономических, функциональных и физических величин, обладающих определенной размерностью в единой системе инвариантов и измеряющих основные качества системы и всех ее подсистем, управление которыми необходимо и достаточно для достижения цели системы.
В тех случаях, когда в системе критериев выделяется главный, причем допускающий точное количественное выражение, он называется критерием оптимальности. Однако это возможно лишь в очень ограниченном числе случаев. Не следует путать понятия критерия оптимальности - количественной формы отражения любого критерия - и критерия эффективности, отражающего существенные содержательные стороны функционирования системы. Критерий оптимальности, взятый изолированно, может и вообще не соответствовать задаче эффективного развития системы.
Систему критериев всегда разрабатывают в определенном порядке исходя из критериев верхнего уровня системы и далее «сверху вниз», вплоть до процессов функционирования, прямо связанных с основным технологическим процессом. Такой порядок построения позволяет четко определить и выразить в форме критерия нижнего уровня вклад каждого звена в достижение задач, определяемых критерием верхнего уровня. С целью точного выявления факторов, влияющих на значения каждого критерия, и обеспечения их взаимосвязи в составе каждого критерия предусматривается выделение компонентов, соответствующих организационнотехническим мероприятиям, и факторов, соответствующих мероприятиям по совершенствованию управления. Рост эффективности непосредственно связан с ростом мощности систем. Принимая во внимание, что это возрастание мощности протекает всегда в определенный период времени, получаем, что эффективность прямо зависит от величины этого времени. Отсюда вытекает особая важность временных критериев, т.е. критериев, выраженных непосредственно во времени достижения целевых показателей. Можно выделить четыре компонента, входящих в состав любого количественного критерия:
- 1) потенциальное значение критерия;
- 2) компоненты, определяемые экстенсивными факторами;
- 3) компоненты, отражающие факторы научно-технического прогресса и совершенства системы;
- 4) срок достижения заданной величины критерия.
Критерии выявляют содержание процессов функционирования системы, однако практически используются обычно не сами критерии, а построенные на их основе величины - показатели, допускающие простые процедуры расчета. Необозримое множество показателей, используемых в системах, зачастую ставит исследователя в тупик при попытке в них разобраться. Только на одном предприятии можно выделить десятки тысяч показателей, сложным образом сцепленных между собой. Любой показатель лишь приблизительно, косвенно отражает описываемый им процесс.
По характеру отражения элементов описываемого процесса можно выделить три крупные группы показателей:
- 1) отчетные и плановые показатели, непосредственно отражающие основные характеристики элементов процесса в натуральной или стоимостной форме;
- 2) нормативы, нормы и тарифы, являющиеся удельными характеристиками расходования средств, использования мощностей или создания продукции;
- 3) оценочные показатели, или оценки, дающие косвенное, относительное и обобщенное описание элементов процесса.
Все эти показатели, характеризующие один и тот же процесс, тесно связаны между собой.
Оценочные показатели играют особую роль в системе, позволяя в обобщенной форме выражать содержание и условия функционирования, направляя процесс функционирования на достижение наилучших результатов. Есть две принципиальные возможности, два пути формирования системы показателей функционирования системы. Первый состоит в формировании показателей непосредственно по ходу технологических операций основного процесса, а также всех вспомогательных и обслуживающих процессов с учетом их технологии и организации. Второй - в формировании системы показателей на основе изучения и последовательной детализации задач функционирования. Например, в системах управления предприятием, организованных традиционно, преобладает первый способ формирования показателей. Каналы информации в таких системах часто перегружены безадресными потоками данных (показатели, зарегистрированные в ходе производственного процесса, передающиеся с уровня на уровень управления), работникам системы управления просто не хватает времени, чтобы систематически вникать в организацию процесса производства. Системы программного целевого управления, ориентированные на первоочередное достижение целевых показателей, используют второй способ формирования системы показателей. Исходными данными здесь являются перечень основных функций системы - от непосредственного обеспечения основного производственного процесса до формулирования целевых показателей на верхнем уровне; перечень задач, решаемых по каждой из функций системы с указанием перечней входных и выходных данных и критериев их решения (система критериев формируется и отлаживается ранее), а также совокупность моделей формирования показателей в форме текстовых описаний, алгоритмов расчета и построения показателей, вспомогательных экономико-математических моделей, описывающих формирование и использование экономических показателей.
В отличие от показателей сложившейся традиционной системы, структура которых зачастую несопоставима, что вызывает скрытое дублирование показателей, структура показателей для вновь создаваемой системы жестко задана, так что показатели всех уровней и звеньев управления построены по единому принципу. Это облегчает их восприятие и обработку как «вручную», так и в интегрированной системе обработки информации. Если система критериев и показателей проектируется целиком заново, то ее внутренняя согласованность и непротиворечивость «вытекают из построения», как говорят математики. Однако действительность оказывается сложнее теоретических схем, проектируемая система фактически должна встраиваться в уже сложившуюся систему норм, правил, элементов регламентации управленческой деятельности, согласовываться по входным и выходным параметрам со смежными системами, накладываться на сложившуюся систему служебных отношений. Поэтому даже в случае вновь проектируемой системы, а тем более если речь идет об усовершенствовании старой системы показателей, требуется доводка системы критериев и показателей. Иногда это становится центральной задачей, когда в ходе системного анализа процесса функционирования выясняется разлаженность критериев оценки деятельности подразделений, экономических рычагов, стимулов и других хозяйственных механизмов.
Процесс отладки критериев в миниатюре повторяет процесс проектирования системы. Основным инструментом отладки, «регулировочным стендом», также служит комплексная модель системы, в которой, однако, лишь намечается описание основного процесса, функций и задач системы и т.п.
Подробно выписываются показатели, используемые в качестве критериев оценки деятельности или для принятия решений, а также критерии, выявляемые в ходе специального анализа функционирования в различных подразделениях и организациях. Такое исследование проводится путем логического анализа процессов функционирования и системы показателей. При этом надо учитывать, что критерии далеко не всегда осознаются, явно формулируются, но всегда вытекают из интересов отдельных людей и организаций. Иногда для выявления критериев требуется провести анализ множества уже принятых решений.
Выявленный перечень критериев по каждому этапу основного процесса вместе со списком ответственных за принимаемые решения организаций отражается в комплексной модели процесса функционирования.
Анализ системы критериев проводят исходя в первую очередь из целей системы, а также комплекса подцелей, детализированных для каждого этапа процесса. Если удается сформулировать главный критерий для всего процесса или отдельного этапа, то пытаются согласовать с ним остальные критерии за счет изменения системы показателей, распределения ответственности между организациями, изменения экономического механизма. Главное в настройке критериев - чтобы каждый показатель, «работающий» как критерий, выражал вклад звена, деятельность которого он оценивает, в прирост значения главного критерия системы или, если единый критерий системы управления отсутствует, - непосредственно в достижение целевых конечных показателей системы.
Отладка системы критериев и показателей устраняет потери, которые несет система из-за противоречий в направлениях деятельности отдельных звеньев, ликвидирует показатели-фикции, выдает точный «наряд на работу» каждому показателю управления. Нет необходимости придумывать какие-то новые, особые показатели, в наиболее «чистой» форме отражающие задачи экономического управления. Такие показатели, как объемы производства, номенклатура, себестоимость, качество, являются практически «вечными», они в равной степени свойственны и фабрике, построенной еще в прошлом веке, и будущему заводу.
Отладка показателей и критериев обслуживающих и функциональных подразделений, а также показателей, оценивающих деятельность самой системы, производится на основе измерения вклада, вносимого ими в эффективность основного процесса. В то же время необходимо стимулировать наиболее рациональную внутреннюю организацию деятельности, для чего устанавливаются вспомогательные показатели, характеризующие работу функциональных и обслуживающих подразделений как структурного целого; важно найти здесь точную меру между этими двумя группами показателей.
Отладка системы показателей линейных подразделений нижнего звена системы направлена на устранение всех функций и задач, не свойственных этому звену, на достижение которых оно не может эффективно воздействовать.
Отладка системы критериев верхнего уровня производится аналогично отладке системы критериев функциональных и обслуживающих подразделений. Здесь, однако, основное внимание должно быть обращено на обеспечение функций, специфических для верхнего уровня системы: формулирование целей, контроль и текущая подстройка критериев, планирование обновления производимой продукции, организация развития самой системы.
Процедура выбора показателей, достаточно и полно отражающих свойства системы, сложна. На практике для оценки свойств систем и их элементов используется несколько сотен различных показателей: количественные, качественные, экономические, технические, общие, комплексные, частные, основные, вспомогательные, специфические, исходные, производные и т.н.
Для принятия решений и оценки степени влияния данных показателей друг на друга используют различные модели и принципы принятия решений, которые, однако, не позволяют формировать определенные однозначные ответы при оценке эффективности на ранних стадиях создания систем.
Рассмотрим общий подход к формированию показателей, который позволит в дальнейшем систематизировать основные этапы оценки эффективности системы и процедуры принятия решений в процессе ее создания и применения. В соответствии с изложенным выше стратифицированным описанием систем вся совокупность показателей, характеризующих систему, имеет иерархическую структуру:
- П1- показатели, характеризующие систему на уровне моделей страты 1;
- П2 - показатели, соответствующие страте 2;
- ПЗ, П4-Пп - частные технические показатели, соответствующие стратам 3, 4,..., п до принятого уровня подробности исследования системы.
Каждая группа показателей на соответствующем i -м уровне деления включает:
- показатели эффективности, характеризующие суммарный эффект от применения системы или ее элементов, которые рассматриваются как отдельные системы на i-м уровне;
- параметры выбора, включающие показатели внешних свойств системы или ее элементов;
- организационно-экономические показатели ЖЦ, оказывающие непосредственное влияние на значения общего показателя эффективности.
- одноуровневые, определяющие взаимосвязь между показателями эффективности и параметрами выбора каждого уровня;
- межуровневые, определяющие взаимосвязь между параметрами выбора предыдущего уровня и показателями эффективности последующего уровня.
В соответствии с вышеизложенным можно предложить следующие этапы определения показателей системы:
- формулировка, анализ и декомпозиция цели, стоящей перед надси- стемой;
- формирование облика и составление стратифицированного описания системы;
- предварительное определение: показателей, характеризующих эффективность достижения цели; параметров выбора, оказывающих непосредственное влияние на показатели эффективности системы и характеризующих внешние свойства системы, условий выбора, включающих предполагаемые воздействия окружающей среды, возможность комплек- сирования системы с другими системами, наличие дублирующих систем и ограничения на допустимые значения показателей эффективности;
- формирование моделей страты 1, позволяющих исследовать влияние параметров и условий выбора на показатели эффективности, уточнение результатов выбора показателей и облика системы;
- анализ описания системы в пределах страты 2, дальнейшая декомпозиция целей, стоящих перед системой: определение целей подсистем страты 2, определение системотехнических показателей эффективности, характеризующих эффективность достижения целей подсистемами страты 2, параметров выбора, характеризующих внешние свойства, видов обеспечения системы, первичных и вторичных функциональных подсистем, определение условий выбора данных показателей;
- формирование межуровневых зависимостей; исследование с помощью этих зависимостей влияния показателей эффективности страты 2 на параметры выбора страты 1, определение на основе этого требований к показателям эффективности страты 2;
- формирование моделей страты 2, позволяющих исследовать влияние параметров и условий выбора на показатели эффективности страты 2;
- уточнение результатов выбора показателей и облика системы.
При переходе к страте 3 процедура выбора показателей повторяется. Процедура выбора заканчивается после достижения приемлемого равновесия между показателями и моделями всех уровней. Предельная детализация показателей зависит от принятой степени подробности исследования системы.
