60000 документов |
БИБЛИОТЕКА
|
|
Все документы,
представленные в каталоге, не являются их официальным изданием и предназначены
исключительно для ознакомительных целей. Электронные копии этих документов могут распространяться без всяких
ограничений. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ОАО «ВСЕРОССИЙСКИЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ СЕРТИФИКАЦИИ» (ОАО «ВНИИС»)
РЕКОМЕНДАЦИИ (для организаций с численностью работающих свыше 250 человек) Р 50-601-45/1-2006
Москва 2006 СОДЕРЖАНИЕАННОТАЦИЯСамооценка становится все более популярным методом совершенствования деятельности организаций различных отраслей, размеров и уровней развития. Сравнительная простота, возможность проведения собственными силами, определение приоритетных направлений улучшений - вот далеко не полный перечень преимуществ этого метода. Основу проведения самооценки составляет модель менеджмента, выбранная организацией в качестве базы для сравнения. В настоящих Рекомендациях в качестве такой базы предлагается модель премии Правительства Российской Федерации в области качества. Поскольку модель существует в двух вариантах - для организаций с численностью работающих не более 250 человек и для организаций с численностью работающих свыше 250 человек, Рекомендации также выпущены в двух вариантах. Настоящий вариант Рекомендаций предназначен для организаций с численностью работающих свыше 250 человек. Состав и содержание составляющих критериев, входящих в эти Рекомендации, гармонизированы с актуализированной в 2003 году моделью Европейского фонда менеджмента качества (EFQM), используемой в Европейской премии по качеству. В соответствии с Руководством для организаций - участников конкурса 2006 года, утвержденным Советом по присуждению премий Правительства Российской Федерации в области качества, весомость критериев приравнена к весомости критериев, используемой в модели Европейской премии по качеству. Авторы: Галеев В.И., Дворук Т.Ю., Дубинин B.C., Пичугин К.В., Рыбалкина С.В. Компьютерная верстка: Горбунова С.Ю. Авторы выражают благодарность экспертам по оценке участников конкурса на соискание премий Правительства РФ в области качества Богданову И.М., Варкентину Я.Я., Зубкову Ю.П., Ивину Ю.Г., Кутлинскому Г.И., Николаеву Л.Л., Перетолчину А.А., Смольякову А.В., Стояну Ю.Ф., Шестакову А.Л., Швецу В.Е. за участие в работе по совершенствованию Рекомендаций. 1. ЧТО ТАКОЕ САМООЦЕНКА?Мы живем в динамичном, быстро меняющемся мире. Это в полной мере относится и к современному рынку: растут требования потребителей к продукции и услугам, развиваются технологии, меняются условия конкурентной борьбы. Поэтому успешная работа любой организации на рынке неосуществима без постоянного совершенствования ее деятельности, нацеленной на повышение удовлетворенности потребителей. Это положение является краеугольным камнем всех современных подходов к менеджменту качества. Совершенствование деятельности организации невозможно без периодического анализа фактического состояния работы по качеству и ее результатов. Только опираясь на результаты такого анализа, можно наметить и реализовать дальнейшие шаги в улучшении деятельности. Такой всесторонний анализ в мировой практике получил название самооценки. Самооценка проводится на соответствие модели менеджмента качества, которую организация выбирает как образец. Наиболее популярными являются модели менеджмента качества, используемые в национальных и международных премиях по качеству (премия Деминга в Японии, премия Малькольма Болдриджа в США, Европейская премия по качеству). В стандартах ИСО серии 9000 версии 2000 года в качестве такой модели предлагаются положения стандарта ИСО 9004:2000. В настоящих Рекомендациях для самооценки предлагается воспользоваться моделью премии Правительства Российской Федерации в области качества, гармонизированной с моделью делового совершенства Европейского фонда менеджмента качества, используемой в конкурсе Европейской премии по качеству. Модель премии Правительства Российской Федерации в области качества базируется на нескольких основополагающих принципах. Поведение, виды деятельности или инициативы, основанные на этих принципах, часто называют всеобщим менеджментом качества (Total Quality Management). Содержание критериев и составляющих модели показывает, как данные принципы могут формировать основу для улучшения деятельности и совершенствования организации. Восемь принципов менеджмента, на которых основана модель, перечислены ниже. Не следует считать этот перечень ни исчерпывающим, ни неизменным. Принципы будут меняться по мере того, как будут развиваться и улучшать свою деятельность организации, стремящиеся к совершенству. Ориентация на потребителя Потребитель является конечным арбитром, оценивающим качество продукции и услуг. Ориентация на потребности существующих и потенциальных потребителей позволяет достичь лояльности последних, сохранять и увеличивать их количество и долю рынка. Лидерство руководства и последовательность в достижении целей Поведение лидеров организации обусловливает ясность и единство ее цели, а также внутреннюю среду, в которой сама организация и ее персонал могут улучшать свою деятельность. Менеджмент на основе понимания процессов и фактов Организация работает более эффективно, если в ней правильно понимается взаимосвязь всех видов деятельности, применяется систематический менеджмент процессов, а решения относительно существующих процессов и планирования инноваций принимаются на основе информации, содержащей данные о восприятии организации всеми заинтересованными сторонами. Вовлечение персонала Полное раскрытие потенциальных способностей персонала наилучшим образом осуществляется на основе общих для всех ценностей и культуры организации, базирующейся на доверии и предоставлении персоналу полномочий, что способствует вовлечению каждого работника в деятельность по совершенствованию. Непрерывная познавательная деятельность и инновации Результаты деятельности организации становятся оптимальными, если ее работа осуществляется на основе, менеджмента и обмена знаниями в условиях созданной культуры непрерывного познания, инноваций и улучшения. Развитие партнерства Организация работает более эффективно, если она формирует взаимовыгодные партнерские отношения, основанные на доверии, обмене знаниями и интеграции со своими партнерами. Взаимодействие с обществом Долгосрочные интересы организации и ее персонала реализуются наилучшим образом на основе принятия этического подхода и стремления превзойти ожидания и установленные показатели обязательных и правовых требований общества. Ориентация на результаты Успех деятельности организации зависит от правильного баланса интересов и степени удовлетворенности всех заинтересованных сторон, то есть от персонала, потребителей, поставщиков, общества в целом, а также лиц, чьи финансовые интересы связаны с работой организации. 2. ЧТО ДАЕТ ОРГАНИЗАЦИИ САМООЦЕНКА?Международная и отечественная практика показала, что проведение самооценки дает организации такие преимущества, как: • систематический подход к совершенствованию деятельности; • получение объективных оценок, основанных на фактах, а не на личном восприятии отдельных работников или руководителей; • использование единого комплекса критериев, который нашел широкое применение во многих странах при оценке организациями своей деятельности и ее результатов; • согласованное понимание того, что в реальных условиях должна сделать организация в целом, ее отдельные подразделения и каждый работник, исходя из политики и стратегии; • обучение персонала применению принципов всеобщего менеджмента качества; • внедрение различных инициатив и передовых методов менеджмента качества в повседневную деятельность организации; • выявление и анализ процессов, в которые можно ввести улучшения; • оценка изменений, происшедших с момента проведения предыдущей самооценки; • возможность распространения передового опыта лучших подразделений организации или других организаций; • возможность признания и стимулирования достижений подразделений и работников; • возможность сравнения с лучшими результатами, достигнутыми как самой организацией, так и другими организациями. Цель настоящих Рекомендаций - помочь организациям в проведении этой работы. Те же из них, которые по результатам самооценки сочтут возможным и целесообразным принять участие в конкурсе на соискание премии, должны ознакомиться с его условиями в Руководстве для организаций - участников конкурса 2006 года. 3. МОДЕЛЬ И КРИТЕРИИ ПРЕМИИ ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ В ОБЛАСТИ КАЧЕСТВАМодель включает в себя две группы критериев: - первая группа критериев характеризует, как организация добивается результатов, что делается для этого («возможности»); - вторая группа критериев характеризует, что достигнуто («результаты»). Первая группа включает в себя критерии: • лидирующая роль руководства (критерий 1); • политика и стратегия организации в области качества (критерий 2); • персонал (критерий 3); • партнерство и ресурсы (критерий 4); • процессы, осуществляемые организацией (критерий 5). Вторая группа включает в себя критерии: • удовлетворенность потребителей качеством продукции и услуг (критерий 6); • удовлетворенность персонала (критерий 7); • влияние организации на общество (критерий 8); • результаты работы организации (критерий 9). Модель премии приведена на рисунке 1. Каждый критерий имеет свою весомость в общей оценке, выраженную в процентах. Наибольшая суммарная оценка по данной модели в целом составляет 1000 баллов, а наибольшие оценки в баллах по каждому критерию показаны на рисунке 1. МОДЕЛЬ ПРЕМИИ ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ В ОБЛАСТИ КАЧЕСТВАРис. 1 СОДЕРЖАНИЕ КРИТЕРИЕВКРИТЕРИЙ 1:ЛИДИРУЮЩАЯ РОЛЬ РУКОВОДСТВА СОДЕРЖАНИЕ КРИТЕРИЯ Как руководители организации всех уровней определяют ее предназначение, вырабатывают стратегию развития и способствуют их реализации; как они формируют ценности, необходимые для достижения долгосрочного успеха, и внедряют их с помощью соответствующих мероприятий и личного примера; насколько они вовлечены в деятельность, обеспечивающую развитие и внедрение системы менеджмента организации. СОСТАВЛЯЮЩАЯ КРИТЕРИЯ Критерий охватывает следующие пять направлений деятельности, по которым должна быть представлена информация: 1а. Определение руководителями предназначения организации, стратегии ее развития и ценностей, демонстрация на личных примерах своей приверженности культуре качества Данная деятельность может включать: -определение руководителями предназначения (миссии) организации, выработку ее стратегической цели (видения будущего) и культуры организации; -формирование и поддержание руководителями собственным примером этических норм и ценностей, на основе которых создается культура организации; - анализ и повышение руководителями результативности своей деятельности; - личное активное участие руководителей в деятельности по совершенствованию; - стимулирование и поддержку руководителями творчества и инноваций, например посредством выделения ресурсов для познавательной деятельности и совершенствования, наделения персонала полномочиями; - стимулирование и поддержку руководителями познавательной деятельности и принятие мер на основе ее результатов; - определение руководителями приоритетов в деятельности по совершенствованию; - стимулирование и поддержку руководителями атмосферы сотрудничества в организации. 1б. Участие руководителей в деятельности, обеспечивающей разработку, внедрение и постоянное совершенствование системы менеджмента организации Данная деятельность может включать: - обеспечение руководителями разработки и внедрения системы менеджмента процессов; - определение руководителями ответственности за процессы; - обеспечение руководителями разработки и внедрения процессов формирования, развертывания по вертикали и горизонтали и актуализации политики (в том числе в области качества) и стратегии; - обеспечение разработки и внедрения процессов эффективного руководства организацией; - обеспечение руководителями совершенствования структуры организации в целях реализации политики (в том числе в области качества) и стратегии; - обеспечение руководителями разработки и внедрения процессов измерения, анализа и повышения наиболее важных результатов деятельности; - обеспечение руководителями разработки и внедрения процессов стимулирования, определения, планирования и реализации усовершенствований в соответствии с применяемыми подходами, то есть посредством творческой, инновационной и познавательной деятельности. 1в. Участие руководителей в работе с потребителями, партнерами и представителями общества Данная деятельность может включать: - понимание руководителями потребностей и ожиданий потребителей, партнеров и общества и обеспечение их удовлетворенности; - установление руководителями взаимоотношений партнерства и участие в них; - организация руководителями совместной деятельности по совершенствованию и участие в ней; - признание руководителями вклада в развитие организации отдельных лиц и групп, представляющих заинтересованные стороны; - участие руководителей в работе профессиональных ассоциаций, союзов и других организаций, а также конференций и семинаров, особенно с целью пропаганды и поддержки всеобщего менеджмента качества; - поддержку руководителями и участие в деятельности, направленной на улучшение окружающей среды, и помощь организации обществу в отношении уважения прав и интересов будущих поколений. 1г. Мотивация, поддержка и поощрение руководителями персонала организации Данная деятельность может включать: - личное участие руководителей в разъяснении персоналу предназначения организации, ее стратегической цели, а также ценностей, политики и стратегии, планов, целей и целевых показателей; - доступность руководителей для работников и поддержание активного диалога с ними; - оказание руководителями помощи и поддержки работникам в осуществлении их планов, в достижении целей и целевых показателей; - предоставление руководителями персоналу возможности участвовать в деятельности по совершенствованию и мотивации участия; - своевременное и надлежащее признание руководителями деятельности групп и отдельных лиц на всех уровнях организации; - содействие и поощрение руководителями реализации равных возможностей и разнообразных подходов в деятельности по совершенствованию. 1д. Определение и поддержка руководителями перемен в организации Данная деятельность может включать: - понимание руководителями внутренних и внешних побудительных причин перемен в организации; - определение и выбор руководителями перемен (изменений), которые необходимо осуществить внутри организации, в ее организационной модели, а также во внешних взаимоотношениях; - лидирующая роль руководителей в планировании изменений; - поддержка изменений руководителями, включая обеспечение необходимыми ресурсами; - руководство реализацией всех программ изменений, содержащихся в «портфеле» организации, и менеджмент связанных с ними рисков; - обеспечение руководителями эффективной реализации изменений с учетом влияния на заинтересованные стороны; - разъяснение руководителями осуществляемых перемен и побудивших их причин работникам и другим заинтересованным сторонам; - оказание руководителями поддержки и помощи персоналу при осуществлении перемен; - измерение и анализ результативности перемен и обмен накопленным опытом. КРИТЕРИЙ 2:ПОЛИТИКА И СТРАТЕГИЯ ОРГАНИЗАЦИИ В ОБЛАСТИ КАЧЕСТВА СОДЕРЖАНИЕ КРИТЕРИЯ Как организация реализует свои предназначение и стратегию развития посредством ориентации на потребности заинтересованных сторон, разработку политики, планов, целей и процессов. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий охватывает следующие четыре направлений деятельности, по которым должна быть представлена информация: 2а. Определение существующих и будущих потребностей и ожиданий заинтересованных сторон для разработки политики и стратегии Данная деятельность может включать: - сбор и анализ информации для определения рынка и тех его сегментов, где организация работает в настоящее время и планирует работать в будущем; - определение, понимание и предвидение потребностей и ожиданий существующих и будущих заинтересованных сторон, включая потребителей, работников, партнеров, общество и акционеров; - определение, понимание и предвидение развития рынка, включая деятельность конкурентов. 2б. Использование информации, полученной в результате измерений, исследований, познавательной и творческой деятельности, для разработки политики и стратегии Данная деятельность может включать: - анализ и оценку показателей внутренней работы организации; - анализ и оценку информации, полученной в результате познавательной деятельности; - анализ и оценку внешней информации об имидже организации и об известности ее торговой марки; - анализ и оценку результатов участия организации в конкурсах, например, в конкурсе «100 лучших товаров России», в конкурсе на знак качества Союза потребителей Российской Федерации «Лучшее в России»; - анализ и оценку информации о конкурентах и «лучших в классе» организациях; - анализ и оценку данных о компетентности существующих и потенциальных партнеров в основных видах деятельности; - анализ и учет краткосрочных и долгосрочных социальных, экологических и правовых аспектов и вопросов безопасности; - анализ и оценку данных о любых воздействиях продукции и услуг в течение всего жизненного цикла; - анализ и оценку экономических и демографических показателей; - анализ и оценку данных с целью определения воздействий новых технологий и моделей организации бизнеса на деятельность организации. 2в. Разработка, анализ и актуализация политики и стратегии Данная деятельность может включать: - разработку, анализ и актуализацию политики и стратегии организации, которые соответствуют предназначению, стратегической цели организации и принципам всеобщего менеджмента качества; - сбалансированный учет долгосрочных и краткосрочных потребностей и ожиданий всех заинтересованных сторон; - оценку рисков и определение путей снижения этих рисков; - определение преимуществ в конкурентной борьбе в настоящее время и в будущем; - определение основных возможностей и потребностей в партнерствах и объединениях в целях реализации политики и стратегии; - укрепление присутствия на завоеванных рынках или внесение изменений в свой подход к рынку; - согласование политики и стратегии организации с политикой и стратегией партнеров и объединений; - определение наиболее важных факторов успеха; - согласование и постоянное повышение вместе с партнерами уровней социальной жизни и состояния окружающей среды; - оценку адекватности и результативности политики и стратегии. 2г. Развертывание и доведение до сведения персонала политики и стратегии в рамках структуры ключевых процессов Данная деятельность может включать: - идентификацию, разработку и разъяснение комплекса ключевых процессов, необходимых для реализации политики и стратегии организации; - разъяснение политики и стратегии организации всем заинтересованным сторонам и оценку их осведомленности о политике и стратегии организации; - определение приоритетов, согласование, развертывание и разъяснение планов, целей и целевых показателей, а также отслеживание результатов; - создание механизмов отчетности, позволяющих оценить прогресс в деятельности организации. КРИТЕРИЙ 3:ПЕРСОНАЛ СОДЕРЖАНИЕ КРИТЕРИЯ Как организация управляет персоналом, развивает и использует его знания и потенциал на индивидуальном уровне, на уровне групп и всей организации; как она планирует виды деятельности в целях претворения в жизнь политики и стратегии, а также в целях эффективной реализации своих процессов. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий охватывает следующие пять направлений деятельности, по которым должна быть представлена информация: 3а. Планирование, управление и улучшение работы с персоналом Данная деятельность может включать: - разработку политики, стратегии и планов в отношении персонала; - привлечение работников и их представителей к разработке политики, стратегии и планов в отношении персонала; - приведение планов в отношении персонала в соответствие с политикой и стратегией, организационной структурой и комплексом ключевых процессов; - управление наймом работников, продвижение их по службе и планирование карьеры; - обеспечение справедливости во всех вопросах найма и занятости персонала и пропаганда этого подхода в организации; - использование обследований и других форм обратной связи с работниками для совершенствования политики, стратегии и планов в отношении персонала; - применение инновационных методов для улучшения работы с персоналом. 3б. Определение, развитие и поддержка знаний и компетентности персонала Данная деятельность может включать: - определение, классификацию и приведение в соответствие с потребностями организации знаний и компетентности персонала; - разработку и выполнение планов обучения и развития персонала в целях обеспечения текущих и будущих потребностей организации; - развитие, обучение всего персонала с целью реализации и раскрытия его полного потенциала; - планирование и содействие познавательной деятельности отдельных лиц, групп и организации в целом и создание условий для этого; - развитие персонала на основе приобретенного опыта; - развитие умения работать в группе; - согласование целей отдельных лиц и групп с целевыми показателями организации; - анализ и актуализацию целей отдельных лиц и групп; - поощрение и оказание содействия персоналу, стремящемуся к улучшению своей работы. 3в. Вовлечение персонала в деятельность по претворению в жизнь политики и стратегии организации и наделение его полномочиями Данная деятельность может включать: - мотивацию и поддержку участия отдельных лиц и групп в деятельности по совершенствованию; - мотивацию и поддержку вовлечения всего персонала в деятельность по совершенствованию, например посредством проведения конференций и торжественных церемоний в рамках организации и реализации общественных проектов; - предоставление персоналу возможностей, стимулирующих его вовлеченность и поддерживающих инновационное и творческое отношение к работе; - обучение менеджеров разработке и внедрению методов руководства, позволяющих наделять персонал полномочиями для принятия мер; - мотивацию совместной работы персонала в группах. 3г. Общение персонала в организации Данная деятельность может включать: - определение потребностей персонала в обмене информацией; - разработку политики, стратегии и планов по обмену информацией на основе выявленной потребности; - разработку и внедрение каналов, по которым связь эффективно осуществляется сверху вниз, снизу вверх и по горизонтали; - определение и обеспечение возможностей для обмена опытом лучшей работы и знаниями. 3д. Поощрение персонала и забота о нем Данная деятельность может включать: - согласование с политикой и стратегией условий найма, включая оплату труда и перераспределение персонала, в том числе при сокращении штатов; - признание заслуг персонала для содействия и поддержания вовлеченности и реализации его полномочий; - содействие осведомленности персонала и вовлечению его в деятельность по охране здоровья, обеспечению безопасности, защите окружающей среды и ответственному отношению к потребностям общества; - установление уровней поддержки, например в области пенсионного обеспечения, охраны здоровья, заботы о детях и т.д.; - признание и принятие во внимание многообразия и различия культур в целях содействия социальной и культурной деятельности персонала; - выделение ресурсов, предоставление удобств и услуг в соответствии с требованиями законодательства и сверх этого. КРИТЕРИИ 4:ПАРТНЕРСТВО И РЕСУРСЫ СОДЕРЖАНИЕ КРИТЕРИЯ Как организация планирует внутренние ресурсы и свои взаимоотношения с внешними партнерами и как управляет ими в целях претворения в жизнь политики и стратегии, а также в целях эффективной реализации своих процессов. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий охватывает следующие пять направлений деятельности, по которым должна быть представлена информация: 4а. Внешние партнеры Данная деятельность может включать: - определение ключевых партнеров и стратегических возможностей партнерства, соответствующих предназначению (миссии), политике и стратегии; - формирование партнерских взаимоотношений в целях создания большей ценности; - создание на основе партнерства большей ценности для потребителя в цепочке поставок; - определение и влияние на компетентность партнеров и поддержка взаимного развития; - обеспечение совместимости культур и обмен опытом и знаниями с организациями-партнерами; - инициирование и поддержку инновационного и творческого мышления с помощью партнерских взаимоотношений; - обеспечение дополнительных преимуществ совместной работы в целях совершенствования процессов и получения большей выгоды в цепочке потребитель-поставщик. 4б. Финансовые ресурсы Данная деятельность может включать: - разработку и реализацию стратегии в отношении финансовых ресурсов, а также процессов использования финансовых ресурсов для реализации политики и стратегии организации; - создание и внедрение основных процессов финансового менеджмента на всех соответствующих уровнях организации; - создание системы финансового планирования и отчетности с целью доведения до сведения организации ожиданий сторон, заинтересованных в ее финансовых результатах; - создание механизмов отчетности; - оценку инвестиций и деинвестиций (изъятия капитала) в материальные и нематериальные активы; - использование финансовых механизмов и показателей для обеспечения эффективности и результативности структуры ресурсов; - разработку и внедрение методов управления рисками по отношению к финансовым ресурсам на всех уровнях организации, 4в. Инфраструктура и материальные ресурсы Данная деятельность может включать: - разработку стратегии использования зданий, оборудования и материалов для поддержки реализации политики и стратегии организации; - поддержание имущества в надлежащем состоянии для его эффективного использования; - обеспечение сохранности имущества; - измерение и управление любыми отрицательными воздействиями имущества организации на общество и персонал (включая эргономику, охрану здоровья и безопасность); - использование ресурсов экологически правильным способом в течение всего жизненного цикла продукции; - оптимизацию материальных запасов; - оптимизацию потребления разных видов энергии; - сокращение и повторное использование отходов производства; - уменьшение любого отрицательного воздействия продукции, процессов производства и услуг организации; - оптимизацию использования транспорта. 4г. Технологии Данная деятельность может включать: - разработку стратегии использования технологии для поддержки реализации политики и стратегии организации; - идентификацию и оценку альтернативных и новых технологий в соответствии с осуществляемой политикой и стратегией, а также воздействия этих технологий на бизнес и общество; - управление «портфелем» технологий, включая определение и замену устаревших технологий; - использование существующих технологий; - внесение усовершенствований в применяемые технологии; - разработку инновационных и экологически чистых технологий (например, позволяющих сократить потребление энергии и ресурсов, отходы и выбросы, а также осуществлять переработку и повторное использование); - использование информационных технологий и технологий связи для поддержки и улучшения эффективной работы организации; - использование технологий для поддержки деятельности по усовершенствованию. 4д. Информация и знания Данная деятельность может включать: - разработку стратегии управления информацией и знаниями для поддержки реализации политики и стратегии организации; - определение требований организации к информации и знаниям; - сбор и структурирование информации и знаний и управление ими в целях реализации политики и стратегии; - обеспечение внутренним и внешним пользователям надлежащего доступа к соответствующей информации и знаниям; - использование информационной технологии в поддержку управления внутренними связями, информацией и знаниями; - обеспечение достоверности, целостности, сохранности и защиты информации и совершенствование этой деятельности; - культивирование, развитие и защиту уникальной интеллектуальной собственности для создания большей ценности для потребителя; - поиск путей, обеспечивающих эффективное приобретение (расширение и углубление) и использование знаний; - обеспечение условий для развития инновационного и творческого мышления персонала посредством использования информационных ресурсов и знаний. КРИТЕРИЙ 5:ПРОЦЕССЫ, ОСУЩЕСТВЛЯЕМЫЕ ОРГАНИЗАЦИЕЙ СОДЕРЖАНИЕ КРИТЕРИЯ Как организация проектирует процессы, осуществляет менеджмент процессов и совершенствует их в целях претворения в жизнь политики и стратегии, а также полного удовлетворения и создания ценности для своих потребителей и других заинтересованных сторон. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий охватывает следующие пять направлений деятельности, по которым должна быть представлена информация: 5а. Систематическое проектирование и менеджмент процессов Данная деятельность может включать: - проектирование (разработку) процессов организации, включая ключевые процессы, необходимые для реализации политики и стратегии; - определение заинтересованных сторон процессов и решение вопросов взаимодействия как внутри организации, так и в отношениях с внешними партнерами в целях эффективного менеджмента непрерывной цепочки процессов; - введение системы менеджмента процессов; - использование для менеджмента процессов систем стандартов, таких, например, как стандарты на системы менеджмента качества (ИСО 9000), системы экологического менеджмента (ИСО 14000), системы охраны и безопасности труда и др.; - определение показателей процессов и их целевых значений; - анализ результативности структуры процессов для реализации политики и стратегии организации. 5б. Совершенствование процессов с использованием инноваций в целях более полного удовлетворения требований потребителей и других заинтересованных сторон Данная деятельность может включать: - определение возможностей для улучшений и других изменений (как в небольших масштабах, так и в целях осуществления «прорыва») и расстановка приоритетов; - использование результатов работы, данных о восприятии организации заинтересованными сторонами и информации, полученной в ходе познавательной деятельности, для определения приоритетов, постановки целевых показателей по улучшению процессов и методов работы; - стимулирование и реализацию творческой инициативы персонала, потребителей и партнеров для улучшений как в небольших масштабах, так и в целях осуществления «прорыва»; - выявление и использование новых процессов и принципов работы и соответствующих возможных технологий; - применение соответствующих методов внедрения изменений; - апробацию и контроль внедрения новых или измененных процессов; - доведение до сведения заинтересованных сторон информации об изменениях, внесенных в процессы; - обучение персонала работе в условиях нового или измененного процесса до его внедрения; - обеспечение уверенности в получении ожидаемых результатов от внесения изменений в процессы. 5в. Проектирование и разработка продукции и услуг на основе ожиданий потребителей Данная деятельность может включать: - использование результатов изучения рынка, обследования потребителей и других способов получения информации по обратной связи для определения существующих потребностей и ожиданий потребителей в отношении продукции и услуг; - прогнозирование и определение мер, направленных на улучшение продукции и услуг для удовлетворения будущих потребностей и ожиданий потребителей и других заинтересованных сторон; - проектирование и разработку совместно с потребителями и партнерами новой продукции и услуг, добавляющих ценность для потребителей; - понимание и предвидение потенциальных возможностей новых технологий и их воздействия на продукцию и услуги; - разработку новой продукции и услуг в целях сохранения завоеванного рынка и обеспечения выхода на другие - использование творческой деятельности, инноваций и компетентности персонала и внешних партнеров для проектирования и разработки конкурентоспособной продукции и услуг. 5г. Производство, поставка и последующее обслуживание продукции и услуг Данная деятельность может включать: - производство и/или приобретение продукции (услуг) соответствующих их проектам и разработкам; - маркетинг, информирование о ценности предложения и продажу продукции (услуг) существующим и потенциальным потребителям; - доставку продукции (услуг) потребителям; - послепродажное обслуживание продукции (услуг), включая переработку. 5д. Менеджмент и улучшение взаимоотношений с потребителями Данная деятельность может включать: - определение и удовлетворение требований потребителей к обеспечению повседневных контактов; - обработку информации, полученной от потребителей в ходе повседневных контактов, включая жалобы; - активное взаимодействие с потребителями в целях обсуждения и удовлетворения их потребностей и ожиданий; - мероприятия, проводимые после продажи, включая обслуживание, и другие контакты с потребителями в целях определения степени их удовлетворенности продукцией, услугами и процессами продажи и обслуживания; - поддержание творческого и инновационного характера взаимоотношений с потребителями при продаже и обслуживании; - установление партнерских отношений с потребителями с целью создания дополнительной ценности в цепочке поставок; - использование данных регулярных обследований и других форм сбора структурированной информации, а также данных, получаемых в ходе повседневных контактов с потребителями, в целях определения и повышения уровня их удовлетворенности; - рекомендации потребителям об ответственности, связанной с использованием продукции. КРИТЕРИЙ 6:УДОВЛЕТВОРЕННОСТЬ ПОТРЕБИТЕЛЕЙ КАЧЕСТВОМ ПРОДУКЦИИ И УСЛУГ СОДЕРЖАНИЕ КРИТЕРИЯ Результаты, которых добилась организация в отношении удовлетворения интересов внешних потребителей. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий включает в себя следующие две составляющие, по которым должна быть представлена информация: 6а. Показатели восприятия потребителями организации, качества ее продукции и услуг Данные показатели характеризуют восприятие потребителями организации (эти показатели определяются, например, на основе обследования потребителей, в том числе работ фокус-групп, а также рейтингов продавца, полученных благодарностей и жалоб). В зависимости от сферы деятельности организации данная информация может содержать показатели восприятия, характеризующие: • общий имидж организации: - доступность, - наличие каналов связи, - прозрачность, - гибкость, - активность поведения, - отзывчивость; • продукцию и услуги: - качество, - цену, - надежность, - новизну конструкции (дизайна), - доставку, - влияние на окружающую среду; • продажу и послепродажное сопровождение: - профессиональные навыки и поведение персонала, - советы и помощь, - наличие литературы для потребителей и технической документации; - реагирование на жалобы, - обучение, связанное с продукцией, - время реагирования на обращения, - техническую помощь, - гарантии и гарантийное обслуживание; • лояльность потребителей: - намерение купить продукцию и услуги организации повторно, - желание покупать другую продукцию и услуги организации, - желание рекомендовать организацию другим потребителям, 6б. Показатели работы организации по повышению удовлетворенности потребителей Это внутренние показатели деятельности, используемые для мониторинга, понимания, прогнозирования и совершенствования работы организации по повышению удовлетворенности потребителей, а также для прогнозирования и восприятия организации внешними потребителями. В зависимости от сферы деятельности организации данная информация может содержать внутренние показатели, характеризующие: • общий имидж организации: - награды, полученные от потребителей, - отзывы потребителей об организации в печати, других СМИ; • продукцию и услуги: - конкурентоспособность, - рекламации, претензии, жалобы и замечания по качеству продукции, полученные и принятые организацией, и результаты работы с ними, - знаки о полученном одобрении и экологическая идентификация, - гарантии и гарантийные обязательства, - жизненный цикл продукции, - новизну конструкции (дизайна), - время, необходимое для выпуска на рынок, - стоимость в течение жизненного цикла; • продажу и послепродажное сопровождение: - обучение потребителей, - количество и своевременность ответов на запросы потребителей, - время реагирования на обращения; • постоянство потребителей: - долю (количество) постоянных потребителей, - продолжительность взаимодействия с потребителями, - эффективность рекомендаций постоянных потребителей другим потребителям воспользоваться продукцией и услугами организации, - частоту/объем заказов, - количество жалоб и похвальных отзывов, - новую и/или потерянную область бизнеса, КРИТЕРИЙ 7:УДОВЛЕТВОРЕННОСТЬ ПЕРСОНАЛА СОДЕРЖАНИЕ КРИТЕРИЯ Результаты, которых добилась организация в отношении удовлетворения своего персонала. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий включает в себя следующие две составляющие, по которым должна быть представлена информация: 7а. Показатели восприятия персоналом своей работы в организации Данные показатели характеризуют восприятие персоналом организации (эти показатели определяются, например, на основе обследования персонала, интервью, анкетирования и т.п.). В зависимости от сферы деятельности организации данная информация может содержать показатели восприятия, характеризующие: • участие персонала в управлении организацией: - доступность информации - полномочия, - участие в принятии управленческих решений, - удовлетворенность переменами и их внедрение; • развитие потенциала работников: - продвижение по службе, - возможность учиться и совершенствоваться, - подготовку и обучение, - постановку и достижение целевых показателей; • психологический климат в коллективе: - отношение со стороны руководства, - отношения в коллективе, - рабочую обстановку; • социальные вопросы: - равные возможности, - условия найма, - удобства и услуги, - охрану здоровья, безопасность труда, - гарантии занятости, - оплату труда и льготы; • общий имидж организации: - удовлетворенность деятельностью руководства организации, - удовлетворенность ценностями, миссией, видением, политикой и стратегией организации, в том числе в отношении окружающей среды, - удовлетворенность ролью организации в жизни общества. 7б. Показатели работы организации по повышению удовлетворенности персонала Это внутренние показатели деятельности, используемые для мониторинга, понимания, прогнозирования и совершенствования работы организации по повышению удовлетворенности персонала. В зависимости от сферы деятельности организации данная информация может включать показатели, характеризующие: • достижения: - требования к компетентности в сравнении с имеющейся компетентностью, - производительность, - успешность профессиональной подготовки и развития для достижения поставленных целей, - внешние премии и признание; • мотивацию и вовлечение персонала: - участие в группах по улучшению, - измеряемые преимущества работы в группах, - подачу предложений по улучшению, - признание заслуг отдельных работников и групп, - реагирование на результаты опроса работников, - уровень профессиональной подготовки; • удовлетворенность условиями работы: - пропуски рабочих дней, - уровень травматизма и заболеваемости, - жалобы, - тенденции в приеме на работу, - текучесть кадров, - забастовки, - использование работниками удобств и услуг, предоставляемых организацией; • взаимодействие с администрацией: - точность и четкость действий администрации, - результативность обмена информацией, - быстроту ответов на запросы и жалобы, - оценку администрацией результатов обучения. КРИТЕРИИ 8:ВЛИЯНИЕ ОРГАНИЗАЦИИ НА ОБЩЕСТВО СОДЕРЖАНИЕ КРИТЕРИЯ Результаты, которых добилась организация в отношении удовлетворения интересов общества на местном, национальном и мировом уровнях. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий включает в себя следующие две составляющие, по которым должна быть представлена информация: 8а. Показатели восприятия обществом деятельности организации Данные показатели характеризуют восприятие обществом организации (эти показатели определяются, например, на основе обследований, независимых отзывов, публичных мероприятий, мнения органов власти). В зависимости от сферы деятельности организации данная информация может содержать показатели восприятия, характеризующие: • ее деятельность как члена общества: - информационную открытость по отношению к обществу, - предоставление равных возможностей при взаимодействии с организацией, - воздействие на местную и национальную экономику, - взаимоотношения с органами власти, - этическое поведение, - репутацию как работодателя; • участие в жизни общества: - участие в системе образования и обучения, - взаимодействие с местными органами власти по соответствующим видам деятельности, - поддержку здравоохранения и социального обеспечения, - поддержку спорта и организация досуга, - участие в благотворительных и общественных работах; • снижение и предотвращение вредного воздействия ее работы или продукции в течение всего жизненного цикла: - снижение случаев заболеваний и травматизма среди населения, - повышение безопасности, - уменьшение загрязнения и вредных выбросов, шума, - анализ цепочки поставок, - оценку экологической чистоты работы, продукции и услуг в течение всего жизненного цикла; • отчетность о деятельности по сохранению ресурсов и экономии: - выбор вида транспорта, - экологическое воздействие, - сокращение отходов и их уничтожение, - экономию сырья, - снижение потребления ресурсов (например, газ, вода энергия), - использование повторно перерабатываемых материалов. 8б. Показатели работы организации по повышению удовлетворенности общества Это внутренние показатели деятельности, используемые для мониторинга, понимания, прогнозирования и совершенствования работы организации по повышению удовлетворенности общества. В зависимости от сферы деятельности организации данная информация может содержать внутренние показатели, характеризующие области оценки, названные в составляющей 8а, а также следующие: • воздействие на уровень занятости; • взаимодействие с органами власти по таким вопросам как: - сертификация, - импорт и экспорт, - планирование, - разрешение на выпуск продукции; • учет интересов общества; • получение наград от органов власти и общественных организаций, например, результаты участия в программе «100 лучших товаров России», в конкурсе на знак качества Союза потребителей Российской Федерации «Лучшее в России»: - обмен информацией о практике хорошей работы как социально ответственной организации, практике аудита и отчетности перед обществом. КРИТЕРИЙ 9:РЕЗУЛЬТАТЫ РАБОТЫ ОРГАНИЗАЦИИ СОДЕРЖАНИЕ КРИТЕРИЯ Результаты, которых добилась организация в отношении запланированных целей в работе. СОСТАВЛЯЮЩИЕ КРИТЕРИЯ Критерий включает в себя следующие две составляющие, по которым должна быть представлена информация: 9а. Финансовые показатели работы организации Оцениваются на основе результатов анализа, представленных в виде графиков, таблиц, диаграмм, в том числе: • показателей прибыли и убытков, включая: - выручку от реализации, - прибыль от реализации, - чистую прибыль, - прибыль от финансово-хозяйственной деятельности, - отчисления из прибыли на благотворительные цели; • показателей бухгалтерского баланса, включая: - валюту баланса, - внеоборотные активы, - оборотный капитал, - капитал и резервы, - долгосрочные и краткосрочные пассивы, - запасы; • показателей движения денег, включая: - платежи в бюджет, - капиталовложения (источники и структура), - управление движением наличности (кредиты банка, в том числе непогашенные, дебиторская и кредиторская задолженность); • эксплуатационных расходов; • показателей финансового состояния, включая: - финансовую устойчивость, - ликвидность, - оборачиваемость оборотного капитала, - коэффициент возможного банкротства (коэффициент восстановления платежеспособности); • других показателей, включая: - доход на акционерный капитал, - доход на капитал, - кредитный рейтинг (платежеспособность), - общий доход акционеров, в том числе долю выплаченных доходов. - доходность акций, - рентабельность. (Показатели могут быть выражены в абсолютных, условных или относительных величинах, в том числе, например, к капиталу или на одного работающего). 9б. Качество продукции и услуг и другие результаты работы организации Объектами оценки могут быть любые нефинансовые результаты. В частности, могут оцениваться следующие показатели: • деятельность в целом: - доля, которую занимает продукция (услуги) организации на рынке, - экспорт, - освоение новых видов продукции (услуг), - время выхода новой продукции (услуг) на рынок, - объем продаж в натуральном выражении; • качество продукции (услуг): - сопоставление с продукцией (услугами) лучших организаций, - уровень дефектности, - добровольная сертификация, в том числе сертификация систем менеджмента; • процессы: - внедрение новых процессов и технологий, - улучшения в процессах, - время выполнения процессов, - завершенность, - производительность, - стабильность; • информация и знания: - средства распространения информации об организации и ее продукции (услугах), - полнота, - доступность, - уместность, - своевременность, - ценность интеллектуальной собственности; • партнерство: - взаимодействие с партнерами, включая факты совместного создания большей ценности, совместных улучшений и инноваций, поощрение партнеров, - взаимодействие с поставщиками, включая цену закупаемой продукции (услуг), ее дефектность, отзывчивость поставщиков на обращения организации; « здания, оборудование и материалы: - показатель дефектности, - оборачиваемость товарных запасов, - коэффициент использования; • технология: - показатель инноваций, - патенты, лицензионные платежи. (Показатели могут быть выражены в абсолютных, условных или относительных величинах). 4. ОРГАНИЗАЦИЯ ПРОЦЕССА САМООЦЕНКИИспользуя самооценку как один из методов анализа деятельности и внедрения улучшений, организация должна выбрать область распространения и метод самооценки, которые будут в наибольшей степени соответствовать ее потребностям, а также структуре и специфике деятельности. Модель премии Правительства Российской Федерации в области качества может быть с успехом применена для самооценки деятельности организации в целом, отдельного подразделения или совокупности подразделений (например, задействованных в реализации какого-либо процесса), филиала организации. В зависимости от поставленных целей организация может воспользоваться различными организационными методами проведения самооценки. Описание методов самооценки представлено в приложении А. Настоящие Рекомендации ориентированы на наиболее сложный метод - имитацию участия в конкурсе на соискание премии по качеству, типовые этапы которого приводятся ниже. Типовой процесс самооценки 1. Руководители организации принимают решение о проведении самооценки. 2. Назначается руководитель проекта, который должен возглавить работу по самооценке, включая составление сводного отчета, то есть обобщение всей собранной информации и представление отчета в готовом виде. 3. Назначаются руководители подразделений, ответственные за проведение самооценки по одному или нескольким конкретным критериям. 4. Руководители подразделений назначают конкретных работников для участия в работе группы по составлению отчета. 5. Руководитель проекта совместно с руководством организации назначает ведущего эксперта и членов экспертной группы. (Экспертами могут быть назначены те же работники, которые войдут в состав группы по составлению отчета). 6. Члены группы по составлению отчета и экспертной группы или изучают методы самооценки самостоятельно с помощью данных Рекомендаций, или проходят обучение под руководством экспертов, имеющих специальную подготовку. 7. Члены группы по составлению отчета собирают данные и формируют разделы отчета по закрепленным за каждым из них критериям или их составляющим. 8. Руководитель проекта составляет сводный отчет. 9. Руководитель проекта и члены группы по составлению отчета представляют сводный отчет руководителю организации. 10. Руководитель организации рассматривает, вносит корректировки и утверждает отчет как документ, дающий объективное представление о состоянии дел в организации. 11. Копии отчета направляются членам экспертной группы. 12. Каждый эксперт определяет по сводному отчету, по всем составляющим критериев сильные стороны организации, а также области, где можно ввести улучшения, после чего выставляет общую оценку в баллах. 13. Эксперты под руководством ведущего эксперта обсуждают результаты работы, приходят к консенсусу и составляют экспертное заключение, включая рекомендации о целесообразности участия организации в конкурсе на соискание премии, уточнив их с руководителем проекта и руководителем организации. 14. Руководитель проекта представляет экспертное заключение руководителю организации. 15. Руководители организации определяют приоритеты для областей деятельности, где можно ввести улучшения, а также принимают решение об участии в конкурсе на соискание премии (если цели проведения самооценки предусматривали определение целесообразности этого участия). 16. Руководитель организации определяет ответственных за разработку и реализацию необходимых мероприятий и формирование плана этих мероприятий (в том числе по участию в конкурсе, если принято такое решение). 17. Руководители организации осуществляют регулярный контроль за выполнением плана мероприятий в период между самооценками, которые должны проводиться ежегодно в целях обеспечения непрерывного совершенствования деятельности организации. При повторной самооценке вместо написания нового отчета можно внести происшедшие за год изменения в предыдущий отчет и после этого провести экспертную оценку. Последовательность, исполнители и рекомендации по выполнению этапов процесса самооценки приведены на схеме. Рекомендации по составлению отчета и методика оценки приведены в разделах 5 и 6 соответственно. Процесс самооценки
5. ПОДГОТОВКА ОТЧЕТА ПО САМООЦЕНКЕ5.1. При изложении материалов отчета необходимо ориентироваться не только на описание деятельности в соответствии с содержанием составляющей критерия, но и на принятый метод оценки (см. раздел 6), учитывающий специфику критериев «возможности» и специфику критериев «результаты». 5.1.1. Для критериев, характеризующих возможности организации, информация в отчете должна касаться трех элементов, по которым в дальнейшем будет проводиться оценка: • описать формы и методы работы и дать обоснование их применения в рамках деятельности, которую характеризует критерий; • показать, насколько широко и системно в рамках организации применяются эти формы и методы: в «вертикальном» разрезе - по уровням управления, в «горизонтальном» - по подразделениям и областям деятельности организации; • описать, как осуществляется оценка и пересмотр подхода с целью его совершенствования. 5.1.2. В критериях, характеризующих результаты, информация должна содержать показатели, с помощью которых организация оценивает свои результаты, и тенденции изменения этих показателей, которые желательно представить за максимально больший период времени (за последние три-пять лет и более). Тенденции изменения фактически достигнутых показателей следует представить в сопоставлении с планировавшимися целями и в сравнении с аналогичными показателями других организаций, например, конкурентов, лучших организаций. Необходимо отразить данные о том, насколько приведенные показатели охватывают различные направления деятельности организации. Необходимо показать связь полученных результатов с подходами, применяемыми в организации и описанными в критериях 1-5. 5.2. Информация в отчете должна представляться отдельно по каждой составляющей критерия. Она должна быть сжатой, выразительной и содержать фактический материал, подтверждающий положения отчета. 5.3. При необходимости в отчете могут быть приведены помимо информации, относящейся к областям оценки составляющей критерия, дополнительные сведения, которые соответствуют содержанию критерия применительно к особенностям организации. 5.4. Иллюстрируя информацию, особенно представленную в критериях «результаты», целесообразно использовать графики, диаграммы, таблицы. Однако следует избегать представления одних и тех же данных различными способами. 5.5. Для сохранения конфиденциальности информации данные о финансовых и иных результатах деятельности могут быть представлены не в абсолютных, а в относительных или условных единицах. 5.6. При составлении отчета следует обратить внимание на весомость критериев, а также на то, что составляющие критериев 1, 2, 3, 4, 5 и 9 (например, 1а, 1б, 1в, 1г, 1д) имеют одинаковую весомость, а в критериях 6, 7 и 8 баллы распределены следующим образом:
5.7. Следует учитывать, что не всегда отсутствие положительных тенденций говорит о плохих результатах. Например, удержание сегмента рынка или объема продаж на постоянном уровне в период общего спада производства можно рассматривать как хороший результат. В таких случаях организация, в том числе участвующая в конкурсе, должна дать соответствующий комментарий в своих материалах, который пояснит ситуацию для эксперта. 5.8. Если сравнение собственной деятельности и ее результатов с достижениями других организаций невозможно (например, по финансовым показателям) или нецелесообразно (например, для естественного монополиста), необходимо подчеркнуть объективность причины отсутствия сопоставительных данных. 6. ПРОВЕДЕНИЕ ОЦЕНКИ6.1. Материалы самооценки (отчет) оцениваются экспертной комиссией, которая назначается в соответствии с внутренними процедурами организации. 6.2. Оценка выражается суммарным количеством баллов, выставленных экспертами по критериям модели премии (1-9). 6.3. Оценка по группе критериев «возможности» проводится по трем элементам: • совершенство подхода, • полнота подхода, • оценка и пересмотр подхода. При оценке совершенства подхода учитываются следующие характеристики: а) обоснованность: • насколько подход логически обоснован, • разработаны ли процессы, •насколько подход ориентирован на потребности заинтересованных сторон; б) интегрированность: • насколько подход направлен на реализацию политики и стратегии организации, • в какой степени внедряемые передовые подходы интегрированы в рабочие процессы, • насколько подход согласован с другими подходами, используемыми в организации. При оценке полноты подхода учитываются следующие характеристики: а) внедрение, то есть насколько широко применяется подход: • на разных уровнях управления организацией, • в разных подразделениях и областях деятельности. • применительно к соответствующим процессам, • применительно к соответствующим видам продукции и услуг; б) системность, то есть насколько структурированно, комплексно применяется подход. При оценке и пересмотре подхода учитываются следующие характеристики: а) измерение: • насколько регулярно проводятся измерения эффективности подхода и его развертывание на разных уровнях управления применительно к соответствующим видам продукции и услуг и т.п.; б) изучение: • насколько широко определяются и изучаются примеры лучшей практики и возможности для улучшения; в) улучшение: • в какой степени результаты измерений и изучения лучшей практики используются для определения, ранжирования, планирования и внедрения улучшений. 6.4. Шкалы оценки и оцениваемые характеристики по этим элементам приведены в таблице 1. Для каждой составляющей критериев (1а, 1б, ... 5д) оценки выставляются в процентах в соответствии с таблицей 1 отдельно по каждому из элементов: совершенство подхода, полнота подхода, оценка и пересмотр подхода. На основе выставленных оценок по элементам определяется общая (как правило, средняя по элементам) процентная оценка каждой составляющей критериев 1-5. Оценка в процентах каждого критерия группы «возможности» рассчитывается по общим процентным оценкам каждой составляющей критерия с учетом ее весомости в рамках критерия (см. п. 5.6) как средняя арифметическая для критериев 1, 2, 3, 4 и 5. Оценка каждого критерия в процентах переводится в соответствующее количество баллов с учетом его коэффициента весомости (см. рис. 1): для критериев 1, 2, 3, 4 и 5 соответственно 1; 0,8; 0,9; 0,9 и 1,4. Пример оценки по составляющей критерия 1а приведен в приложении Б. 6.5. Оценка по группе критериев «результаты» проводится по значениям достигнутых показателей, то есть по достижениям и по полноте охвата этими показателями различных направлений деятельности организации. При оценке достижений учитываются следующие характеристики: а) тенденции: • позитивные тенденции и/или поддерживаемый уровень хорошей работы; б) целевые показатели: • показатели соответствуют целям организации, • показатели достигнуты; в) сравнение: • проведено сравнение с достижениями «статистически средних» организаций в соответствующей отрасли, в регионе и/или «лучших в классе» организаций; г) причины: • результаты обусловлены применяемым подходом. При оценке полноты охвата направлений деятельности учитывается: • насколько представленные показатели охватывают все соответствующие направления деятельности организации; • насколько полно представленные показатели охватывают результаты, относящиеся к каждой составляющей критерия; • насколько представленные показатели характерны для организации. 6.6. Шкалы оценки и оцениваемые характеристики по этим элементам приведены в таблице 2. Для каждой составляющей критериев (6а, 6б,…9а, 9б) оценки выставляются в процентах в соответствии с таблицей 2 отдельно по каждому элементу: достижения и полнота охвата. На основе выставленных оценок определяется общая (как правило, средняя по элементам) оценка в процентах каждой составляющей критериев 6-9. Оценка в процентах каждого критерия группы «результаты» рассчитывается по общим процентным оценкам каждой составляющей критерия с учетом ее весомости в рамках критерия (см. п. 5,6) как средняя взвешенная для критериев 6, 7, 8 и средняя арифметическая для критерия 9. Оценка каждого критерия в процентах переводится в соответствующее количество баллов с учетом его коэффициента весомости в модели (см. рис. 1): для критериев 6, 7, 8 и 9 соответственно 2,0; 0,9; 0,6 и 1,5. 6.7. Общая оценка организации определяется путем суммирования баллов, полученных по каждому критерию, и выражается суммарным количеством баллов, выставленных экспертами по критериям модели премии (1-9). 6.8. По результатам оценки эксперты заполняют оценочный лист. Пример заполнения оценочного листа приведен в приложении В. Таблица 1
Таблица 2
7. ПЛАНИРОВАНИЕ СОВЕРШЕНСТВОВАНИЯ ДЕЯТЕЛЬНОСТИ ОРГАНИЗАЦИИ НА ОСНОВЕ САМООЦЕНКИОсновной целью самооценки является улучшение работы организации. Однако сам по себе процесс самооценки еще не обеспечивает этого, он дает лишь «моментальный снимок» состояния дел и предоставляет информацию о сильных сторонах деятельности организации и об областях, где можно ввести улучшения, а также позволяет дать ее оценку в баллах. Если результаты самооценки не будут использованы для разработки и реализации соответствующих мероприятий по улучшению, она не даст эффекта. Как показывает опыт, большинство организаций, проводящих самооценку, выявляют более сотни областей своей деятельности, где можно ввести улучшения, начиная с проблем, требующих стратегических решений, и заканчивая конкретными задачами, решаемыми в оперативном порядке. Для оптимизации работ по совершенствованию необходимо рационально распределить ресурсы, установив приоритеты в реализации областей для улучшения. Приоритетность может быть связана не только с количественной оценкой критерия, но и с особенностями деятельности организации. Например, консалтинговая компания с численностью работающих 30 человек, имеющая низкую оценку по критерию 8 «Влияние организации на общество», может считать более важными для своего совершенствования области деятельности, не относящиеся к этому критерию. И наоборот, компания по производству химических реактивов, учебное заведение, издательство, атомная электростанция или рекламное агентство должны рассматривать низкую оценку по критерию 8 как одну из наиболее значимых возможностей для совершенствования своей деятельности. Однако для любой организации низкая оценка по критерию 6 «Удовлетворенность потребителей качеством продукции (услуг)» указывает приоритетное направление для улучшения деятельности. Поэтому первым этапом процесса использования результатов самооценки является определение тех важнейших областей, в которых необходимо ввести улучшения. Определение приоритетности задач позволит сократить число планируемых мероприятий при том же уровне эффекта от них. Необходимо помнить: • концентрация усилий на нескольких наиболее важных направлениях обеспечивает более высокий уровень мотивации персонала, чем одновременное решение большого количества проблем; • применение таких методов, как SWOT-анализ (анализ сильных и слабых сторон, возможностей и угроз), анализ силы воздействия и сложности изменений, помогут выявить области, которые важны для будущего существования организации и улучшения в которых приведут к лучшему результату. Опыт показывает, что в этом случае наибольший шанс для претворения в жизнь будут иметь те мероприятия (после определения их приоритетности), которые будут включены в традиционно разрабатываемые планы мероприятий по совершенствованию организации, в том числе бизнес-планы, планы организационно-технических мероприятий, планы технического перевооружения, программы повышения качества и др. Такая практика, как правило, уже существует в большинстве организаций, и именно ее следует придерживаться при реализации плана мероприятий по совершенствованию и контроле его выполнения, а не создавать отдельный параллельный процесс их выполнения. Процесс планирования с использованием результатов самооценки наряду с традиционно используемыми данными для планирования (например, прогнозы продаж, состояние рынка, деятельность конкурентов, прогнозируемые финансовые показатели и т.п.) показан на рисунке 2. Рис.2 Дальнейшее использование самооценки для плакирования деятельности организации и ее совершенствования связано с интеграцией результатов самооценки, а также с изменением подхода к планированию. Организация, регулярно проводящая самооценку, сможет на основе девяти критериев модели премии по качеству провести оценку и анализ своей деятельности в целом. В этом случае при самооценке собираются и оцениваются как «традиционные» данные, применяемые при планировании, так и данные, необходимые для оценки по девяти критериям модели. Оценка возможностей организации, отслеживание тенденций и сравнительный анализ результатов позволяют при этом выявить сильные стороны организации, которые необходимо сохранить, и области, где улучшения приведут к максимальному результату, включая анализ и совершенствование предназначения организации, ее стратегической цели, политики и ценностей. Интегрированный процесс планирования деятельности организации и ее совершенствования показан на рисунке 3. В любом случае необходимо, чтобы в организации было проведено соответствующее обучение персонала, участвующего в планировании деятельности организации, в объеме, необходимом для понимания процесса самооценки. Организация будет иметь большие шансы на успех, если работники, вовлеченные в процесс планирования, будут понимать структуру и логику модели премии по качеству, причины проведения самооценки и ее суть. Рис.3 8. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯПриведенные ниже термины и их определения помогут специалистам организаций, проводящих самооценку или принявших решение участвовать в конкурсе на соискание правительственной премии по качеству, лучше понять модель премии и правильно ее применить. ВАЖНЫЕ ФАКТОРЫ УСПЕХА - основные условия, которые должны быть выполнены для того, чтобы организация могла достичь поставленной стратегической цели. ВИДЕНИЕ БУДУЩЕГО - заявление, в котором организация описывает, какой она хочет стать в будущем. ВНЕШНИЕ ПОТРЕБИТЕЛИ - внешние организации или лица, получающие продукцию или услуги. Данное определение может также распространяться на все звенья в цепочке распределения продукции или услуг вплоть до конечного потребителя. ВОСПРИЯТИЕ - мнение отдельного лица или группы лиц. ЗАИНТЕРЕСОВАННАЯ СТОРОНА* - лицо или группа лиц, заинтересованные в деятельности или успехе организации. *Здесь и далее знак * означает, что данный термин приведен в редакции ГОСТ Р ИСО 9000-2001. ЗНАНИЕ - информация, предопределяющая действия. Знание - вершина иерархии, базирующаяся на информации и данных. Данные - первичные факты. Информация - данные в контексте и перспективе. ИННОВАЦИИ - практическое претворение идей в новые продукцию, услуги, процессы, а также в системы и социальное взаимодействие. ИНФРАСТРУКТУРА* - совокупность зданий, оборудования и служб обеспечения, необходимых для функционирования организации. КУЛЬТУРА - общая совокупность норм поведения, этики и моральных ценностей, которая практикуется, передается друг другу и укрепляется персоналом организации. МИССИЯ - заявление, в котором описывается цель или смысл существования организации. Оно поясняет, почему существует данный бизнес или функциональная деятельность. ОБЩЕСТВО - все лица, на которых воздействует или, по их мнению, оказывает влияние данная организация, кроме ее работников, потребителей и партнеров. ОРГАНИЗАЦИОННАЯ СТРУКТУРА* - распределение ответственности, полномочий и взаимоотношений между работниками. ПАРТНЕРСТВО - взаимодействие двух или более сторон, в результате которого создается дополнительная ценность для потребителей. ПЕРСОНАЛ - все лица, нанятые организацией, включая работников с полной и частичной занятостью, а также работающих временно или по договору. ПОДХОД - формы и методы работы, применяемые в рамках деятельности, которую характеризует критерий. ПОЗНАНИЕ - восприятие и понимание информации, которая может привести к внесению улучшений или изменений. Примерами познавательной деятельности организации могут служить: проведение сравнения с лучшими достижениями, проведение оценки и/или аудита (внутренних или внешних), а также изучение лучшей практики работы. Примером индивидуальной познавательной деятельности может служить обучение и повышение профессиональной квалификации. ПОЛИТИКА И СТРАТЕГИЯ - стратегия - это способ, которым организация осуществляет свою миссию и видение будущего, основываясь на потребностях основных заинтересованных сторон и опираясь на соответствующие политику, планы, цели, целевые показатели и процессы. ПРЕДОСТАВЛЕНИЕ ВОЗМОЖНОСТЕЙ - обучение персонала необходимым профессиональным навыкам, предоставление ему знаний, информации и полномочий в том объеме, который позволит работникам наиболее эффективно и результативно выполнять поставленные задачи. Периодически устанавливаемые ясные целевые показатели позволяют получать необходимую информацию о прогрессе в достижении общих целей организации. ПРОЦЕСС* - совокупность взаимосвязанных и взаимодействующих видов деятельности, преобразующая входы в выходы. РАВНЫЕ ВОЗМОЖНОСТИ - практика справедливого обеспечения равных возможностей для всех работников и пользователей. РЕЗУЛЬТАТИВНОСТЬ* - степень реализации запланированной деятельности и достижения запланированных результатов. РУКОВОДИТЕЛИ - люди, осуществляющие координацию и обеспечение баланса интересов всех лиц, заинтересованных в деятельности организации, включая ее высшее руководство, всех других руководителей, лиц, которые занимают позиции лидеров в группах, и лиц, взявших на себя роль лидеров в выполнении определенных видов деятельности. СВИДЕТЕЛЬСТВА - изложение фактов или другой информации, связанных с критериями модели премии Правительства Российской Федерации в области качества, которые могут быть перепроверены. СИСТЕМА* - совокупность взаимосвязанных и взаимодействующих элементов. СИСТЕМА МЕНЕДЖМЕНТА* - система для разработки политики и целей и достижения этих целей. СРАВНЕНИЕ С ЛУЧШИМИ ДОСТИЖЕНИЯМИ (бенчмаркинг) - систематический непрерывный процесс измерения, процесс постоянного измерения показателей бизнес-процессов организации и сравнения их с аналогичными показателями компаний - мировых лидеров с целью получения информации, которая поможет организации предпринять действия по улучшению своей работы. ТВОРЧЕСТВО - предложение идей в отношении новой или улучшенной практики работы и/или разработки новой продукции и услуг. УДОВЛЕТВОРЕННОСТЬ ПОТРЕБИТЕЛЕЙ* - восприятие потребителями степени выполнения их требований. ФОКУС-ГРУППА - группа потребителей, формируемая по определенным правилам для проведения маркетингового исследования. ЦЕПОЧКА ПОСТАВКИ - интегрированная структура деятельности, включая закупку, производство и поставку продукции и услуг потребителям. Можно сказать, что эта цепочка начинается с поставщиков и заканчивается конечными потребителями. ЭТИКА - нравственные нормы, признанные и поддерживаемые всем персоналом организации. ЭФФЕКТИВНОСТЬ* - связь между достигнутым результатом и использованными ресурсами. Приложение
А |
СОСТАВЛЯЮЩАЯ 2а Определение существующих и будущих потребностей и ожиданий заинтересованных сторон для целей разработки политики и стратегии
Факты, подтверждающие оценку: • план проведения маркетинговых исследований • ежеквартальное проведение анализа рынка • проведение совместных заседаний Совета по маркетингу и Совета по качеству с целью анализа информационной базы для формирования политики и стратегии
|
Метод использования матрицы (таблицы) предполагает разработку специальной таблицы достижений организации, составленной на основе модели премии. Таблица включает в себя ряд заявлений о достижениях организации, представленных в порядке возрастания их значимости по выбранной шкале. Составление таблицы предшествует проведению самооценки и осуществляется специалистами, хорошо знающими модель премии и реальное состояние дел в организации. Пример матрицы (таблицы) представлен на странице 71. При самооценке эксперты, опираясь на данные таблицы, отмечают достижения организации по уровням шкалы, выражая свое согласие с представленными в таблице формулировками уровней. Недостатком метода является снижение точности оценки по сравнению с двумя предыдущими методами и отсутствие возможности сопоставить собственные результаты с оценкой организаций - лауреатов премии.
Еще более простым является метод самооценки, основанный на проведении рабочего совещания. Суть метода заключается в следующем. Руководители подразделений на основе предварительного анализа деятельности выявляют и формулируют сильные стороны и области, где можно ввести улучшения. Эти данные представляются, рассматриваются и обсуждаются на общем рабочем совещании руководителей. По результатам этого обсуждения непосредственно в рамках совещания руководители вырабатывают мероприятия по совершенствованию. Данный подход имеет высокую степень риска получения неточных оценок, что может быть связано с организационными трудностями и недостаточной подготовленностью всех руководителей, участвующих в самооценке.
Пример матрицы (таблицы)
Шкала оценки (шаг) |
Критерии «Возможности» |
Критерии «Результаты» |
|||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
Лидирующая роль руководства |
|
|
|
Процессы, осуществляемые организацией |
Удовлетворенность потребителей |
… |
… |
Результаты работы организации. |
|
10 |
Все руководители являются активными сторонниками процесса непрерывного совершенствования |
|
|
|
Основные процессы, обеспечивающие рентабельность деятельности организации, определены, управляются на основе официально оформленной документации и непрерывно совершенствуются |
Имеется положительная тенденция в отношении степени удовлетворенности потребителей. Поставленные цели достигаются. Некоторые цели поставлены на основе сравнения с лучшими достижениями в отрасли |
… |
… |
Наблюдается тенденция к улучшению результатов в 50 % ключевых областей бизнеса. Некоторые результаты непосредственно связаны с использованием метода самооценки |
9 |
|
… |
… |
… |
|
|
… |
… |
|
… |
|
… |
… |
… |
|
|
… |
… |
|
2 |
|
… |
… |
… |
|
|
… |
… |
|
1 |
Руководство осуществляет программу своего обучения и осознания концепции всеобщего менеджмента качеством (TQM) |
… |
… |
… |
Определены основные процессы, обеспечивающие рентабельность деятельности организации |
Удовлетворено некоторое количество жалоб |
… |
… |
Определены ключевые задачи финансового и нефинансового характера, стоящие перед подразделениями |
Самооценка может быть проведена на основе метода привлечения экспертов. Метод подразумевает проведение самооценки, ориентированное на особую роль экспертов из числа персонала, не работающего в данном подразделении, или экспертов другой организации, которые собирают материалы для самооценки и проводят их анализ, что позволяет организации или подразделению, проводящим самооценку, увидеть себя с независимой объективной позиции. Способ оформления данных по самооценке может быть выбран любой. Достоинством данного метода является повышение уровня межфункционального сотрудничества и осведомленности в организации.
Способ проведения самооценки на основе анкеты требует большой предварительной подготовки, связанной с составлением анкет, их распространением и обработкой. Анкеты разрабатываются на основе составляющих критериев модели премии и областей их оценки. Ответы могут предполагать альтернативную («да», «нет») или многовариантную форму. Пример составления анкеты представлен на странице 73. Достоинством метода является возможность широкого привлечения персонала организации к процессу самооценки, однако, используя этот метод, надо быть уверенным в подготовленности персонала, участвующего в анкетировании. Еще одним недостатком метода является то, что анкеты дают информацию о том, что думает персонал, но не представляют обоснования, почему даны именно такие ответы.
Пример составления анкеты
Лидирующая роль руководства |
Да |
Нет |
Определяют ли руководители предназначение организации и вырабатывают ли стратегию ее развития? |
|
|
Осуществляют ли руководители своевременное и надлежащее признание деятельности групп и отдельных лиц на всех уровнях организации? |
|
|
………………… |
|
|
Партнерство и ресурсы |
|
|
Оптимизируются ли материальные запасы? |
|
|
Осуществляется ли культивирование, развитие и защита уникальной интеллектуальной собственности? |
|
|
Таким образом, имея широкий арсенал методов самооценки, организация может выбирать наиболее приемлемые или составлять комбинации из них (например, анкеты и рабочее совещание), необходимые для получения наибольшей отдачи от внедрения самооценки.
КРИТЕРИЙ 1. ЛИДИРУЮЩАЯ РОЛЬ РУКОВОДСТВА
Составляющая критерия 1а: Определение руководителями предназначения организации, стратегии ее развития и ценностей, демонстрация на личных примерах своей приверженности культуре качества
Сильные стороны:
1. Коллегиальное принятие стратегических решений членами Совета по качеству.
2. Формирование высшим руководством миссии организации.
3. Осознание руководителями всех уровней собственной роли в развитии организации.
4. Руководители являются инициаторами различных стратегических программ.
5. Совместная деятельность руководителей по улучшению качества.
6. Для формирования предназначения, стратегии и политики Советом по качеству была проанализирована информация о деятельности зарубежных фирм.
Области, где можно ввести улучшения:
1. Не раскрыт подход к выработке руководителями стратегии организации.
2. Не представлены конкретные примеры формирования руководителями стратегии, ценностей и этических норм организации.
3. Не раскрыт подход к анализу и пересмотру методов руководства организацией.
4. Не раскрыта роль руководителей в определении приоритетов по совершенствованию,
5. Мало примеров, описывающих роль руководителей среднего и нижнего уровней.
6. Не приведены примеры наделения творческих групп необходимыми полномочиями.
7. Мало свидетельств поощрения и поддержки руководителями познавательной деятельности и принятия мер на ее основе.
8. Мало свидетельств поощрения сотрудничества в рамках организации.
Совершенство подхода |
50% |
Полнота подхода |
45% |
Оценка и пересмотр подхода |
30% |
|
|
Общая оценка |
40% |
Номер критерия |
1 |
% |
2 |
% |
3 |
% |
4 |
% |
5 |
% |
Составляющие критерия |
1а |
55 |
2а |
60 |
3а |
30 |
4а |
65 |
5а |
54 |
1б |
40 |
26 |
45 |
3б |
35 |
4б |
70 |
5б |
74 |
|
1в |
30 |
2в |
35 |
3в |
30 |
4в |
50 |
5в |
56 |
|
1г |
55 |
2г |
60 |
3г |
65 |
4г |
55 |
5г |
58 |
|
1д |
45 |
|
|
3д |
40 |
4д |
60 |
5д |
58 |
|
|
|
|
|
|
|
|
|
|
|
|
Сумма составляющих |
|
225 |
|
200 |
|
200 |
|
300 |
|
300 |
|
|
:5 |
|
:4 |
|
:5 |
|
:5 |
|
:5 |
|
|
|
|
|
|
|
|
|
|
|
Оценка критерия в % |
|
45,0 |
|
50,0 |
|
40,0 |
|
60,0 |
|
60,0 |
Номер критерия |
6 |
% |
|
|
7 |
% |
|
|
8 |
% |
|
|
9 |
% |
|
|
Составляющие критерия |
6а |
60 |
0,75 |
45,0 |
7а |
50 |
0,72 |
36,0 |
8а |
40 |
0,25 |
10,0 |
9а |
60 |
0,5 |
30,0 |
66 |
401 |
0,25 |
10,0 |
7б |
50 |
0,28 |
14,0 |
8б |
60 |
0,75 |
45,0 |
9б |
68 |
0,5 |
34,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Оценка критерия в % |
|
|
|
55,0 |
|
|
|
50,0 |
|
|
|
55,0 |
|
|
|
64,0 |
Номер критерия |
Оценка в % |
Коэффициенты весомости |
Баллы |
|
1 |
45,0 |
× |
1 |
45 |
2 |
50,0 |
× |
0,8 |
40 |
3 |
40,0 |
× |
0,9 |
36 |
4 |
60,0 |
× |
0,9 |
54 |
5 |
60,0 |
× |
1,4 |
84 |
6 |
55,0 |
× |
2 |
110 |
7 |
50,0 |
× |
0,9 |
45 |
8 |
55,0 |
× |
0,6 |
33 |
9 |
64,0 |
× |
1,5 |
96 |
Общая оценка в баллах |
|
|
|
|
|
|
Copyright В© 2008-2024, |