Презентация «метод принятия решений «дельфи»» по экономике

Содержание

  • Слайд 1

    Метод Дельфи

    Назначение метода;
    Цель метода;
    Суть метода;
    Особенности метода.

  • Слайд 2

    Метод Дельфи(иногда дельфийский метод) был разработан в 1950—1960 годы в США для прогнозирования влияния будущих научных разработок на методы ведения войны (разработан корпорацией RAND, авторами считаются OlafHelmer, NormanDalkey, и NicholasRescher). Имя заимствовано от Дельфийского Оракула.Является методом экспертного оценивания.Особенности: заочность, многоуровневость, анонимность

    Назначение метода
    Применяется на этапах формулирования проблемы и оценки различных способов ее решения. Метод Дельфи-один из инструментов выбора и оценки решения.

  • Слайд 3

    Цель метода
    Получение согласованной информации высокой степени достоверности в процессе анонимного обмена мнениями между участниками группы экспертов для принятия решения.
    Суть метода
    Метод Дельфи-инструмент, позволяющий учесть независимое мнение всех участников группы экспертов по обсуждаемому вопросу путем последовательного объединения идей, выводов и предложений и прийти к согласию. Метод основан на многократных анонимных групповых интервью.

  • Слайд 4

    Сформировать рабочую группу для сбора и обобщения мнений экспертов.
    Сформировать экспертную группу из специалистов, владеющих вопросами по обсуждаемой теме.
    Подготовить анкету, указав в ней поставленную проблему, уточняющие вопросы. Формулировки должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.
    Провести опрос экспертов в соответствии с методикой, предполагающей при необходимости повторение процедуры. Полученные ответы служат основой для формулирования вопросов для следующего этапа.
    Обобщить экспертные заключения и выдать рекомендации по поставленной проблеме.

  • Слайд 5

    “Дельфи”, “дельфийский метод”, “метод дельфийского оракула” происходят от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона (Древняя Греция).
    Слово главного оракула принималось за истину в последней инстанции.
    Известно, что использование коллективных знаний ведет к возможности нахождения сильных решений, однако в процессе обмена мнениями между участниками может сказаться влияние авторитета коллег и все сведется к появлению популярных ответов.

  • Слайд 6

    Метод Дельфи

    позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов заменяются индивидуальными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передаются каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение, если он сочтет необходимым. Эта процедура может повторяться несколько раз.

  • Слайд 8

    Достоинства метода
    Метод Дельфи способствует выработке независимости мышления членов группы.
    Обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.
    Недостатки метода
    Чрезмерная субъективность оценок.
    Требует достаточно много времени и организационных усилий.

  • Слайд 9

  • Слайд 10

  • Слайд 11

Посмотреть все слайды

Слайды и текст этой презентации

Слайд 1

Текст слайда:

Охотники за разумом
Занятие №3

Папян МэриХодорковский Илья

Слайд 2

Текст слайда:

Что будет сегодня?

Летучка

Немного теории

Кейсы, кейсы и ещё раз кейсы

Самостоятельная работа на 5 минут

Мозговой штурмМетод ДельфиМетод синектики

Практическое применение

Слайд 3

Текст слайда:

BrainStorming

Метод мозгового штурма — оперативный метод решения проблемы на основе стимулирования творческой активности, при котором участникам обсуждения предлагают высказывать как можно большее количество вариантов решения, в том числе самых фантастичных.

Слайд 4

Текст слайда:

Преимущества:

достаточно оперативен и надежен;максимум идей за короткий отрезок времени;отсутствие какой-либо критики;развитие, комбинация и модификация как своих, так и чужих идей.

Слайд 5

Текст слайда:

Задача!

Для многих людей является проблемой встать рано утром. В том числе для Мэри и Ильи. Мы или не слышим будильник, или выключаем его и продолжаем спать. Предложите конструкции будильников или способы нас разбудить.

Слайд 6

Текст слайда:

Дельфи

Метод Дельфи — организация нескольких этапов анонимного анкетирования экспертов с поэтапной обработкой результатов.

Слайд 7

Текст слайда:

+/-

Достоинства метода:Метод Дельфи способствует выработке независимости мышления членов группы.Обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.Недостатки метода:Чрезмерная субъективность оценок.Требует достаточно много времени и организационных усилий.

Слайд 8

Текст слайда:

Слайд 9

Текст слайда:

Синектика

Метод синектики — это специальная методика исследования, которая позволяет сгенерировать альтернативные идеи, используя ассоциативное мышление и поиск аналогий. Синектика основана на социально-психологической коллективной интеллектуальной деятельности.

Слайд 10

Текст слайда:

Критерии отбора участников:

Наличие гибкого мышления.Широкий диапазон знаний.Практический опыт. Предпочтение отдается тем, кто поменял несколько специальностей.Соответствие возрастным ограничениям. В исследовании могут принимать участие специалисты от двадцати пяти до сорока лет.Психологическая совместимость участвующих.

Слайд 11

Текст слайда:

Четыре типа аналогий

Прямые типы. Такие аналогии достаточно часто связаны с разнообразными системами биологического характера.Символические типы. Представляют собой многообразие поэтических средств, в частности разнообразных сравнений и метафор. Благодаря символическим аналогиям можно отождествлять характеристики одной вещи с другой.Субъективные типы. В данном случае участники могут представлять различные способы использования собственного тела с целью достичь желаемого результата.Фантастические типы. Фантастические аналогии предоставляют возможность представить предметы так, как участник хочет их видеть, но какими они не являются.

Где применяется метод Дельфи?

Во многих сферах используется Дельфийский метод – это универсальное средство, помогающее экспертам максимально точно дать свою оценку относительно эффективности путей и способов решения поставленных задач. В каждой сфере, будь то менеджмент или политология, есть свои тонкости применения метода, о которых стоит знать.

Метод Дельфи в менеджменте

Сущность метода Дельфи способствует эффективному анализу и максимально точному результату, потому что наряду с анкетами и опросниками широко применяется и метод «мозговой штурм». Две группы, которые принимают участие в процедуре делятся на экспертов и аналитиков, где первая – генерирует идеи, а вторая их анализирует и выбирает самые эффективные, на их взгляд, варианты решения.

Например, на одном из хлебозаводов планируется запустить линию с производством диетического хлеба с семечками тыквы. Насколько это будет рентабельно и какой спрос ожидать на данный вид товара – основные вопросы, которые следует решить, вернее, спрогнозировать уровни рисков. В таких случаях при помощи метода Дельфи можно получить предварительные расчеты необходимых показателей.

Метод Дельфи в образовании

Это касается и сферы образования, например, как применяется метод Дельфи в педагогике? Предположим, есть идея заменить экзамен в ВУЗе в классической его форме по какому-то предмету на тест. Возникает вопрос, насколько это будет эффективно отражать реальную картину знаний студентов по этому предмету и как скажется это на результатах тестирования, ведь новое не всегда приживается сразу. В таких случаях дать прогнозы помогает Дельфийский метод, которым нередко пользуются для решения самых разных вопросов, касающихся образовательной системы.

Метод Дельфи в политологии

Усовершенствуя существующие методики принятия решений, которые давали бы максимально точный прогноз, создатели метода (американцы Хелмер и Гордон) изначально делали это для военно-политических отраслей, а уже потом благодаря эффективности метода его начали адаптировать и в других сферах. Применим он для решения любого вопроса, потому что метод Дельфи предполагает получение ответа от независимых экспертов. То есть, никто не может оказать давление на эксперта, подкупить его, запугать и так далее.

Примеров применения может быть масса от смены государственного строя, до разрыва политических отношений с той или иной державой

Любое политическое решение может стать переломным, поэтому в данной области особое внимание уделяется методам экспертных оценок, таких как метод Дельфи, мозговой штурм, метод Паттерн и многие другие. Порядок проведения метода и его суть не меняются, все происходит по существующим правилам

Очень хорошо показывает метод Дельфи схема, представленная ниже.

Определение преследуемых в экспертизе задач и целей

Метод Дельфи подразумевает, что первоначально должна быть поставлена проблема, по которой эксперты смогут дать своё заключение. Для этого необходимо предоставить данные о её предыстории, рассмотреть необходимость её решения или прогнозирования по ней и провести начальные разговоры со всеми представителями заинтересованных в ней лиц. Главное, что происходит во время определения цели, – отсеивание второстепенных или даже мнимых проблем. Из-за такой особенности держать в сокрытии проблему не нужно, её необходимо предать гласности, пускай даже и в ограниченном кругу.

Когда проблема определена, нужно узнать её границы, а также внешние и внутренние факторы, которые могут на неё повлиять. Специально для этого выделенный ранее вопрос детализируют, создавая подвопросы. При этом следует ограничить темы подвопросов только так, чтобы они помогали ответить на главный вопрос. В отдельных случаях подвопросы задают только в случае невозможности получения без них ответа на главный. В этом случае необходимо учесть, что детализация – это палка о двух концах. С одной стороны, она помогает получить более конкретный и детализированный ответ. Но с другой – схожесть мнений экспертов при каждом шаге детализации уменьшается, и подвести их всех к каким-то общим ответам становится всё сложней.

Особенности метода

Дельфи», «дельфийский метод», «метод дельфийского оракула» происходят от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона (Древняя Греция).

Слово главного оракула принималось за истину в последней инстанции.

Известно, что использование коллективных знаний ведет к возможности нахождения сильных решений, однако в процессе обмена мнениями между участниками может сказаться влияние авторитета коллег и все сведется к появлению популярных ответов.

Метод Дельфи позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов заменяются индивидуальными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передаются каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение, если он сочтет необходимым. Эта процедура может повторяться несколько раз.

Проведение экспертизы по методу Дельфи

Дополнительная информация:

Метод Дельфи — это систематический способ обобщения оценок экспертов.
Считается, что метод Дельфи наиболее применим, если к работе привлекаются эксперты, компетентные не по всей проблеме, а по ее различным составляющим.
Чтобы решить, следует ли использовать метод Дельфи, очень важно тщательно рассмотреть ситуацию, к которой будет применен метод. И прежде чем принимать решение, необходимо задать ряд вопросов:

  • кто будет проводить экспертизу, и где будут находиться ее участники;
  • какая должна поддерживаться связь с ними в процессе рассмотрения существующей проблемы;
  • какие существуют в наличии альтернативные методики, и какие результаты реально можно ожидать от их применения?

Метод Дельфи – этапы

Дельфийский метод исследования проводится в два этапа. На первом происходит подбор группы экспертов. Одной из главных особенностей метода является независимость экспертов и невозможность повлиять на их оценку таких факторов как авторитетное давление, желание выразить точку большинства, чтобы не вступать в конфронтацию или возникновение внутренних споров. Оценка эксперта в данном методе не имеет эмоциональной окраски и опирается на холодный расчет.

Второй основной этап состоит из нескольких шагов, которые проводит организационная группа:

  1. Делает рассылку вопросов всем участникам с предложением разработки плана его исследования.
  2. Выбирает пункты, которые встречаются чаще.
  3. Отправляет обновленный список обратно экспертам с просьбой дать ему свою оценку.
  4. Эксперты составляют новый план и проводят по нему свой анализ.
  5. Делает сведение всех результатов и выбирает два варианта точек зрения, где первый – самые редкие пути решения, а второй – самые часто встречающиеся.
  6. Рассылают новые результаты участникам до тех пор, пока эксперты не придут к общему знаменателю.
  7. Оформляют результаты и уже на их основании делают новые выводы и дают все необходимые рекомендации.

Предпосылки для использования и трудности применения

В качестве предпосылок могут выступать такие факторы:

  1. Новизна, а вместе с ней и сложность поставленной проблемы.
  2. Вероятностный характер предоставляемой информации о проблеме.
  3. Недостаточность или недостоверность информации, которая относится к проблеме.

Трудностей его применения и результирующей информации больше, чем предпосылок. Их насчитывают 5:

  1. Невозможность получить точный прогноз.
  2. Нереальность проведения экспертной проверки полученных данных ввиду того, что сам метод предусматривает участие экспертов.
  3. Присутствие факторов, которые не может проконтролировать сторона, выносящая окончательное решение.
  4. Вариативность выбора одного среди нескольких путей подхода к решению проблемы и необходимость выбрать только один.
  5. Неполнота информации, а также невозможность обработать её и перевести с качественного уровня в количественный.

Метод Дельфи – литература

Для лучшего понимания, что же такое из себя представляет Дельфийский метод прогнозирования, можно воспользоваться литературой по данной теме, которой, к слову, не так уж и много.

  1. «Методы разработки управленческих решений» А.Г. Богданов. Учебно-методическое пособие созданное при Казанском Федеральном университете.
  2. «Политический анализ» К.В. Симонов. Учебное пособие для студентов ВУЗов.
  3. «Модернизация экономики и общественное развитие» Е.Г. Ясин. Составлен по результатам международной научной конференции.
  4. «Дельфийский оракул» У. Брод. Книга будет интересна широкому кругу читателей, так как представляет собой историческое расследование, касающееся Дельфийского оракула, оказавшего огромное влияние на культуру, политику и экономику Древней Греции.

Слайды презентации

Слайд 1

Метод синектики

Выполнила: Семина Елена ЭиП-304

Слайд 2

СИНЕКТИКА

метод коллективной творческой деятельности, основанный на целенаправленном использовании интуитивно-образного, метафорического мышления участников. (с греч. «совмещение разнородных элементов»)

Слайд 3

История происхождения синектики

Разработанная в конце 50-60х годов американских психологом У. Гордоном на основе известного метода групповой генерации идей — «мозгового штурма», синектика развивалась как совместная поисковая деятельность экспертных групп с использованием догадок, смелых гипотез, «сумасшедших идей» и интуитивных решений

Слайд 4

Суть метода. Основа метода.

СУТЬ. Нахождение близкого по сущности решения путем нахождения аналогов в разных областях знаний, или исследование объекта в измененных условиях, вплоть до фантастических. ОСНОВА. Метод основан на свойстве мозга улавливать ассоциативные связи между словами, чувствами, понятиями, мыслями. Отдельное слова, наблюдение могут вызвать в сознании воспроизведение ранее пережитого, и «включить» информацию прошлого опыта для решения поставленной задачи. Поэтому аналогия – хороший возбудитель ассоциаций, которые стимулируют творческие возможности.

Слайд 5

Отличия синектики от мозгового штурма

1. Синектика представляет собой спокойную умозрительную деятельность, целенаправленно получающую идеи и предполагающую оценку полученных результатов в период сессии 2

В организации творческой активности группы внимание уделяется попыткам превзойти самого себя, отказу от стандартных подходов. 3

Синекторы должны обладать не только различными знаниями, но и различными эмоциональными типами. 4. Часто в состав группы включают авторитетного креативщика, который призван играть роль эксперта или «адвоката» при столкновении «непримиримых» творческих позиций 5. На первых этапах следует избегать попыток формулировать окончательно завершенные, целостные идеи, мысли.

Слайд 6

Качества синектора

-Умение абстрагироваться; -Способность отходить от навязчивых идей; -Умение находить необычное в обычном; -Неудержимая фантазия; -Широкий кругозор; -Глубокие знания в разных сферах

Слайд 7

Синектический процесс

Слайд 8

Аналогии в математике: В математике по аналогии доказывается подобие углов, треугольников и т.д. аналогии в физике: в физике строение атома доказывается по аналогии со строением солнечной системы. Аналогии в информатике: информационные потоки сети интернет, связь интернет-ресурсов на основе переплетения гиперссылок представляют по аналогии с природным объектом-паутиной.

Слайд 9

Основа творчества — механизмы превращения известного в неизвестное:

Личная аналогия — отождествление себя с каким-либо элементом проблемной ситуации, напp., с подвижной частью механизма, деталью машины, летающим электpоном. Прямая аналогия — процесс сравнения аналогов, параллельно существующих в различных областях знаний, фактов, технологий. Конструкция вертолета — стрекоза Сеть Интернет – паутина Символическая аналогия — неожиданное определение предмета образующее удивительное противоречие (объективные и неличные образы). Выставка – организованная случайность Продажа – формализованное доверие Книга – немой собеседник Фантастическая аналогия — это «творческий бред, использование в художественной реализации идеи сказочные, запредельные, фантастические средства и аналогии. Летающие слоны

Слайд 10

Благодарю за просмотр данной презентации, сделанной с любовью!!!

Дельфийский метод

Дельфийский метод заключается в применении процедуры заочного опроса экспертов с помощью специальных анкет-опросников и последующей обработки их результатов методами математической статистики.

Дельфийский метод был применен корпорацией РЭНД для исследования возможностей долгосрочного прогнозирования состояния мира на 10, 20 и 50 лет вперед.

Дельфийского метода, первоначально использовавшегося только для целей научно-технич. Так, в Польше впервые в мире были введены в действие гос.

Дельфи, дельфийский метод, метод дельфийского оракула происходят от названия местечка Дельфи.

Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами. Выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакет-ыт с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами. Выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

Более подробно о дельфийском методе см. гл.

Результаты эксперимента подтвердили возможность применения дельфийского метода для составления долгосрочных прогнозов, но в то же время вскрыли ряд его недостатков. Основной недостаток метода в том, что крайние оценки, выходящие за зону квартилей, отбрасываются. Однако в них может находиться ценная информация относительно хода развития прогнозируемого процесса.

Установление относительного веса различных факторов с помощью дельфийского метода получило широкое распространение, о чем свидетельствуют приведенные здесь примеры, а также оценочные модели ( гл.

В прогнозировании одним из наиболее распространенных методов Э.о. является дельфийский метод.

Для 1985 и 1987 гг. с целью большей объективности использован дельфийский метод, т.е. усреднение экспертных оценок, который при статистической обработке информации по нефтегазовой проблематике представляется достаточно корректным.

Если группа составлена из экспертов в определенной области, то говорят о мозговом штурме, дельфийском методе и т.п. Главная задача в этом случае состоит в генерации за счет группового взаимодействия экспертов спектра идей, возможных решений интересующей проблемы.

В связи с большой противоречивостью данных по общей добыче газа на акваториях для оценки добычи за 1970 и 1975 гг. использован дельфийский метод, а оценка добычи за 1981 и 1985 гг. произведена по материалам ВНИИзарубежгеологии.

Дельфийский метод используется для экспертного прогнозирования путем организации системы сбора и математической обработки экспертных оценок.

Основная идея

Суть этого метода в том, чтобы с помощью серии последовательных действий — опросов, интервью, мозговых штурмов — добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположных позиций, так как исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства, даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты).

Субъекты:

  • группы исследователей, каждый из которых отвечает индивидуально в письменной форме.
  • организационная группа — сводит мнения экспертов воедино.

Метод Дельфи и метод Паттерн

Суть метода Дельфи и метода Pattern схожи и направлены на получение данных о прогнозах и рисках в том или ином вопросе и его решении. Паттерн подразумевает разделение проблемы на несколько составляющих и создание иерархического дерева. Оба метода являются основными, но имеют ряд существенных отличий.

  1. В методе Дельфи принимает участие в среднем от 5-7 экспертов, в методе Паттерн их может быть до 20-ти.
  2. В первом случае осуждение происходит анонимно, каждый эксперт сам дает оценку, а во втором случае – это коллективное обсуждение.
  3. На каждом этапе опроса или анкетирования в первом методе каждый раз привлекаются новые эксперты, в методе Паттерн экспертов не меняют.

Метод Дельфи – достоинства и недостатки

Как у любого метода, у Дельфийского есть свои недостатки и преимущества, о которых должен знать каждый, кто прибегает к этому способу прогнозирования и принятия решений. К достоинствам можно отнести:

  1. Эксперты не знакомы друг с другом, на них не оказывают ни прямое, ни косвенное давление, что предполагает максимально объективную оценку и возможности креативного подхода к решению задач.
  2. По причине того, что не нужно будет отстаивать свою оценку и бояться быть непонятым, непопулярные, но эффективные мнения могут быть высказаны экспертами и принести свои плоды в дальнейшем.

Из недостатков следует выделить:

  1. Чрезмерная трудозатратность, требующая много времени на проведение.
  2. У группы аналитиков гораздо больше полномочий, чем у группы экспертов.
  3. Многое зависит от группы аналитиков, которые зачастую в ущерб результатам отметают нестандартные предложения экспертов.

План действий

  1. Сформировать рабочую группу для сбора и обобщения мнений экспертов.
  2. Сформировать экспертную группу из специалистов, владеющих вопросами по обсуждаемой теме.
  3. Подготовить анкету, указав в ней поставленную проблему, уточняющие вопросы. Формулировки должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.
  4. Провести опрос экспертов в соответствии с методикой, предполагающей при необходимости повторение процедуры. Полученные ответы служат основой для формулирования вопросов для следующего этапа.
  5. Обобщить экспертные заключения и выдать рекомендации по поставленной проблеме.

Организация самой экспертизы

Организация требует ответственного и взвешенного подхода, ведь от неё довольно сильно зависит длительность опроса, а также полученный результат. Опрос может быть организован как компанией, которая заинтересована в его результате, так и специализированной фирмой, занимающейся их организацией.

Организовывается экспертиза в 6 этапов:

  1. Определение задач и целей, которые будут стоять перед экспертами.
  2. Выбор типа процедуры проведения самой экспертизы.
  3. Отбор экспертов, которые будут принимать в ней участие.
  4. Организация непосредственно самой экспертизы.
  5. Получение и обработка информации.
  6. Принятие заключительного решения по результатам экспертизы.

Групповой опрос

В таком виде опроса используется обмен и ознакомление с мнениями других экспертов. Во время группового опроса происходит корректировка всего сказанного, учитываются моменты, которые были упущены отдельными экспертами. При такой возможности опроса есть и недостатки: людям, даже образованным, публично трудно отказаться от выдвинутой группой ранее точки зрения по причине психологической слабости. Также может быть психологическая или индивидуальная непереносимость отдельных лиц, что не сулит ничего хорошего. Этот подход в методе Дельфи весьма редко используется для избежания его негативных свойств.

Критика — с 60-х

  • беззащитность эксперта перед организационной группой — слишком большие полномочия.
  • мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются.
  • анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа.
  • возрастает конформизм экспертов — стремление попасть в большинство.
  • возможность манипуляции экспертами организационной группой.

Противодействия:

  • подбор организационной группы из различных структур, научных и социальных школ,
  • ту же проблему прогнать через другую группу,
  • самые оригинальные решения можно включать в качестве дополнений.

Это метод не оперативного, а стратегического планирования.

Применяется в стратегическом планировании в:

  • технике,
  • футурологии,
  • бизнесе.
Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock
detector