[edX] IDEA PROTOCOL 불확실한 상황에서 결정을 내리는 프로토콜

[edX] DelftX: SEJ1x. Decision Making Uncertainty: Introduction to Structured Expert Judgement

Conducting expert judgement elicitations requires having a predefined procedural method, a protocol, that helps standardize the steps involved in such elicitations, and facilitates the evaluation of results through peer review.

전문가의 판단을 수집하려면 사전 정의된 절차 방법, '프로토콜'이 있어야 하며, 이러한 도출에 관련된 단계를 표준화하고 동료평가를 통해 결과 평가를 용이하게 할 수 있습니다.

In this video we will talk about one such protocol for structured expert judgement, called the IDEA protocol. Which are the elements that put the structure in a structured expert judgement protocol. Well, as in any other scientific process, we first need to make sure that we follow transparent methodological rules.

이 비디오에서는 IDEA 프로토콜이라고 하는 전문가 판단을 위한 구조화된 프로토콜에 대해 알아보겠습니다. 구조화된 전문가 판단 프로토콜에 구조를 넣는 요소를 말하는데요. 다른 어떤 과학적인 과정에서도 그렇듯이, 우리는 우선 투명한 방법론적 규칙을 따라야 합니다.

Then, it is important that the questions for the experts have clear operational meanings. These questions should be asked and imbedded in the protocol in a way that mitigates psychological and motivational biases.

그렇다면, 전문가들을 위한 질문들이 명확한 운영상의 의미를 갖는 것이 중요합니다. 이러한 질문들은 심리적이고 동기적인 편견을 완화시키는 방법으로 프로토콜에 심어져야 합니다.

A structured protocol includes the possibility of identifying the experts, that is their participation in the study will be noted, but their judgements and any other input will be recorded anonymously. Allowing for empirical control may sound odd for an expert elicitation which is undertaken when data are lacking or sparse, but this refers to the calibration questions you have learned everything about in the previous videos describing the classical model.

구조화된 프로토콜은 전문가를 식별할 수 있는 가능성을 포함합니다. 즉, 연구에 대한 그들의 참여가 기록된다는 것을 말합니다. 물론 그들의 판단과 다른 모든 정보는 익명으로 기록될 것입니다. 데이터가 부족하거나 드문 경우 수행되는 전문가 도출에 경험적 제어를 허용하는 것이 다소 이상하게 들릴 수 있지만, 이는 고전 모델을 설명하는 이전 비디오에서의 calibration questions를 의미합니다.

Having every step thoroughly documented is obviously essential for replication and peer review. A handful of protocols call themselves structured and even though they differ in several aspects, they all agree that having more than just one expert is absolutely key.

모든 단계를 철저히 문서화하는 것은 복제 및 동료 평가에 필수적입니다. 소수의 프로토콜은 스스로를 구조화라고 부르는데, 비록 그들이 몇 가지 면에서 다를지라도 이 것들은 모두 한 명 이상의 전문가를 갖는 것이 절대적으로 중요하다는 데 동의합니다.


The advantages of having multiple experts are the diversity of opinion, the multiple potentially independent sources of information, and the decentralisation of ideas, since individuals draw on their own, “local” knowledge.

다수의 전문가가 있는 것은 그들 스스로 "현지의" 지식을 활용하기 때문에 의견의 다양성, 다수의 잠재적으로 독립적인 정보 출처, 그리고 아이디어의 분산의 장점을 동반하게 됩니다.

However, multiple experts will produce multiple judgements, which most often need to be aggregated. There are three main ways of aggregating expert judgements that we will very briefly discuss. These are the behavioral aggregation, the mathematical aggregation and the mixed aggregation.

그러나 여러 전문가는 가장 자주 통합되어지는 여러 가지 판단을 내리게 됩니다. 이 때 전문가 판단을 통합하는 세 가지 주요 방법이 있는데, 이 세 가지 방법은 매우 간략하게 논의하자면 행동 집계, 수학 집계, 그리고 혼합 집계가 있겠습니다.

One of the key elements of behavioral aggregation is that it seeks consensus and it aims to reach it through extensive facilitated discussion between the experts. This discussion stage involves face-to-face interaction and extensive feedback. While well-functioning facilitated groups offer experts the opportunity to share knowledge and correct misunderstandings, such interaction is frequently prone to biases, including polarization of judgments, and groupthink.

행동 집계의 핵심 요소 중 하나는 전문가들 사이의 광범위한 촉진된 토론을 통해 의견 일치 달성을 목표로 한다는 것입니다. 이 토론 단계에는 대면적 상호작용과 광범위한 피드백이 포함됩니다. 잘 기능하는 그룹들은 전문가들에게 지식을 공유하고 오해를 해결할 기회를 제공하지만, 그러한 상호작용은 종종 판단의 양극화와 집단 사고를 포함한 편견을 갖기 쉽습니다.

Mathematical aggregation provides an alternative to behavioral aggregation. An explicit mechanistic rule like a weighted linear combination of judgements can, for instance, be used. Equal weighting is often preferred because of its simplicity, but differential weighting can be used instead.

수학 집계는 행동 집계에 대한 대안을 제공합니다. 예를 들어, 가중 선형 판단 조합과 같은 명시적 기계론적 규칙을 사용할 수 있습니다. 단순성 때문에 동일한 가중치를 사용하는 경우가 많지만, 대신 차등 가중치를 사용할 수 있습니다.

As you have already learned, the classical model for structured expert judgement uses performance-based weights in the linear aggregation of judgements. Most often, when mathematical aggregation is used, experts are elicited individually, so the interaction between them is restricted and so is the feedback from facilitators.

이미 학습한 바와 같이, 구조화된 전문가 판단을 위한 고전적 모델은 판단의 선형 집계에 성과 기반 가중치를 사용합니다. 가장 자주, 수학적인 집계를 사용할 때, 전문가들의 결과는 개별적으로 도출됩니다. 그래서 그들 사이의 상호 작용은 제한 될 뿐 아니라 조력자의 피드백도 마찬가지입니다.

Mixed aggregation combines behavioral and mathematical aggregation techniques. Maybe the most common mixed method is the Delphi method where experts receive feedback over successive questionnaire rounds, in the form of other group members’ judgments.

혼합 집계는 행동과 수학 집적 기법을 결합입니다. 가장 일반적인 혼합 방법은 전문가들이 다른 그룹 구성원의 판단의 형태로 연속적인 설문지 회차에 대한 피드백을 받는 델파이 방식Delphi method 일 것입니다.

[edX] DelftX: SEJ1x. Decision Making Uncertainty: Introduction to Structured Expert Judgement

Experts remain anonymous and they only interact indirectly, through a facilitator who provides feedback between rounds. As originally conceived, the Delphi method strives to reach consensus after a small number of rounds. In modern usages of the Delphi method, if consensus is not reached the final judgements are equally weighted.

전문가들은 익명으로 남고, 그들은 단지 간접적으로, 라운드 사이에 피드백을 제공하는 조력자를 통해서만 상호작용을 할 수 있습니다. 델파이 방법은 원래 구상된 바와 같이 소수의 라운드 끝에 합의에 도달하기 위해 노력하고 있습니다. 델파이 방법의 현대적 사용에서, 합의에 도달하지 못하면 최종 판단에 동일한 가중치가 적용됩니다.

The protocol that I want to introduce in this video, the IDEA protocol, synthesizes specific elements from all three types of aggregation mentioned earlier. In doing so, it aims to minimize the disadvantages of existing methods and to optimize their advantages.

이 비디오에서 소개하고자 하는 프로토콜인 IDEA 프로토콜은 앞에서 언급한 세 가지 유형의 집합체에서 모두 특정 요소를 합성합니다. 이를 통해 기존 방법의 단점을 최소화하고 장점을 최적화하는 것을 목표로 합니다.

Most elements that characterize IDEA are not new. Its most important contribution is the structured approach to combining these elements. IDEA stands for Investigate, Discuss, Estimate, Aggregate. In the IDEA protocol experts give individual judgments over subsequent rounds, typically 2. Extensive facilitated interaction takes place between rounds. Facilitators provide feedback on the first round of estimates.

IDEA를 특징짓는 대부분의 요소는 새로운 것이 아닙니다. 그것의 가장 중요한 기여는 이러한 요소들을 결합하는 구조화된 접근법입니다. IDEA는 Investigate, Discuss, Estimate, Aggregate를 말합니다. IDEA 프로토콜에서 전문가들은 후속 라운드(일반적으로 2개)에 대해 개별적인 판단을 합니다. 광범위한 촉진 상호 작용이 라운드 간에 이루어집니다. 진행자는 첫 번째 견적에 대한 피드백을 제공합니다.

However, IDEA does not seek consensus and cannot always ensure full anonymity. The last rounds of judgements are mathematically aggregated using equal or differential weights.

그러나 IDEA는 합의를 추구하지 않으며 항상 완전한 익명성을 보장할 수 없습니다. 마지막 판정 라운드는 등가 또는 차등 가중치를 사용하여 수학적으로 집계됩니다.

First, we identify a group of diverse experts. Each expert is asked to investigate the problem and individually give a first round of estimates. Once all experts gave their 1st round estimates, graphs like the one in the middle of this slide are compiled. 

먼저, 우리는 다양한 전문가 그룹을 식별합니다. 각 전문가는 문제를 조사하고 개별적으로 1차 추정치를 제시해야 합니다. 일단 모든 전문가들이 1차 추정치를 제시하면, 이 슬라이드의 중간에 있는 그래프와 같은 그래프가 작성됩니다.

[edX] DelftX: SEJ1x. Decision Making Uncertainty: Introduction to Structured Expert Judgement

The last rounds of judgements are mathematically aggregated using equal or differential weights. First, we identify a group of diverse experts. Each expert is asked to investigate the problem and individually give a first round of estimates.

마지막 판정 라운드는 등가 또는 차등 가중치를 사용하여 수학적으로 집계됩니다. 먼저, 우리는 다양한 전문가 그룹을 식별합니다. 각 전문가는 문제를 조사하고 개별적으로 1차 추정치를 제시해야 합니다.

Once all experts gave their 1st round estimates, graphs like the one in the middle of this slide are compiled. Experts are then provided with the anonymized judgments of their peers and can endorse agreements and discuss disagreements, allowing people to reconcile the meanings of words and context, and share existing evidence supporting the estimates.

일단 모든 전문가들이 1차 추정치를 제시하면, 이 슬라이드의 중간에 있는 그래프와 같은 그래프가 작성됩니다. 그리고 나서 전문가들은 동료들의 익명화된 판단을 제공받고, 협정을 지지하고, 의견 불일치를 논의할 수 있고, 사람들이 단어와 문맥의 의미를 조화시키고, 추정을 뒷받침하는 기존의 증거를 공유할 수 있습니다.

In a face-to-face discussion, people are often forced to declare the identity of their estimates, exposing them to dominant individuals, and potential pressure to conform. Nevertheless, people may refrain from defending their estimate to avoid identification.

대면 토론에서, 사람들은 종종 그들의 추정치의 아이덴티티를 발표하고, 다른 전문가들(지배적인)에게 그것들을 노출시키고, 순응해야 하는 잠재적인 압박감을 느끼게 됩니다. 그럼에도 불구하고 사람들은 식별을 피하기 위해 추정치를 방어하지 않을 수 있습니다.

Post discussion, experts are invited to consider and balance all arguments and give a 2nd round of individual and anonymous estimates. These may or may not differ from their 1st round of estimates. Experts’ estimates obtained through the second round are mathematically aggregated. The method for mathematical aggregation is not dictated by the IDEA protocol. Instead it can be chosen by the analyst. 

토론 후, 전문가들은 모든 논쟁을 고려하고 균형을 맞추고 2차 개인 및 익명의 추정치를 제시하기 위해 초대됩니다. 이는 1차 추정치와 다를 수도 있고 다를 수도 있습니다. 두 번째 라운드를 통해 얻은 전문가의 추정치는 수학적으로 집계됩니다. 수학적 집계 방법은 IDEA 프로토콜에 의해 지정되지 않는 대신 분석가가 선택할 수 있습니다. 

The classical model for aggregating expert judgements is one such choice. Assume that we are incorporating the classical model into the IDEA framework. The classical model typically asks for three quantiles of a distribution for each variable of interest, the median, an upper and a lower quantile.

전문가 판단을 통합하는 고전적 모델은 그러한 선택 중 하나입니다. 클래식 모델을 IDEA 프레임워크에 통합하고 있다고 가정했을 때 고전적 모형은 일반적으로 각 관심 변수에 대한 분포의 세 개(중위수, 상한 및 하한)이 요구됩니다.

One detail that is important, when the IDEA protocol is used, refers to the order in which the quantiles are asked about. We insist that the lower and upper quantiles are elicited prior to the median to avoid anchoring on the central estimate and the overconfidence that comes with this bias. These individual biases were discussed in the Heuristics and Biases video that you most probably already watched. Because the IDEA protocol involves both individual and group work, the number and nature of biases changes accordingly.

IDEA 프로토콜을 사용할 때 중요한 한 가지 세부 사항은 정량형을 묻는 순서를 나타냅니다. 우리는 중앙 추정치와 이러한 편견과 함께 오는 과신을 피하기 위해 중위수보다 낮은 정량 및 상위 정량형을 도출해야 한다고 주장합니다. 이러한 개별적 편견은 여러분이 이미 본 휴리스틱스 및 편견 비디오에서 논의된 바 있죠. IDEA 프로토콜은 개별 작업과 그룹 작업 모두를 포함하기 때문입니다. 편견의 수와 성질은 그에 따라 변합니다.

In addition to the individual biases, groups biases like group think, dominance and polarization of judgements need to also be mitigated against. Several strategies implemented in the IDEA protocol try to mitigate against biases.

개인의 편견 외에도, 집단 사고, 지배, 판단의 양극화 같은 집단 편견도 완화될 필요가 있습니다. IDEA 프로토콜에 구현된 몇 가지 전략은 그러한 편견을 완화하는 데 목적이 있습니다.

The 1st individual estimate avoids anchoring on others’ estimates. The extensive discussion reduces the effect of the availability bias.
The 2nd individual anonymous estimate reduces dominating effects and group think and the question format reduces the anchoring and overconfidence as already mentioned. You will have the opportunity to see the IDEA at work after this video.

첫 번째 개별 추정치는 다른 추정치에 고정되지 않습니다. 광범위한 논의는 가용성 편중의 영향을 줄입니다.
두 번째 익명 추정치는 지배적인 효과와 집단 사고를 줄이고 질문 형식은 이미 언급된 바와 같이 앵커링과 과신력을 감소시킵니다. 이 비디오가 끝나면 IDEA를 볼 수 있습니다.

[edX] DelftX: SEJ1x. Decision Making Uncertainty: Introduction to Structured Expert Judgement