Історія успіху MCC - це невдача (попередження спойлера: n = 1)

Не зрозумійте мене неправильно. Я великий шанувальник MCC. Одного разу я оголосив організацію найбільшим експериментом з оцінки впливу та похвалив їх за прихильність до незалежних оцінок високої якості.

Тож, коли я отримав від колеги замітку із заголовком теми „n = 1” з посиланням на прес-реліз MCC, „Повщення корів одного поголів’я в Буркіна-Фасо”, я спочатку був схильний сприймати це як відхилення. Справді, він передбачив мою реакцію:

"Я знаю, що ти збираєшся сказати, Білл:" Не майте корови ". Або, можливо," не дозволяйте людям з громадських зв'язків MCC отримати вашу козу "."

Я прочитав цей твір і з полегшенням виявив кілька абзаців, які вказували на те, що один анекдот, схоже, мав підтримку деяких ширших доказів. Наприклад, з початку програми навчання сільському господарству середня вага корів зросла «з 213 фунтів у 2008 році до 549 фунтів у 2013 році». Це звучало як досить драматичне свідчення успіху ... поки я не отримав чергового листа від колеги, який виріс на Далекому Заході і насправді бачив корову. Вона написала:

"Це дійсно правильно? Базова вага корови становила 213 фунтів ? Це крихітна корова".

На що мій перший колега відповів:

"... корів у бідних країнах, що розвиваються, іноді може бути трохи більше ніж дог. Але, можливо, сьогоднішні корови були телятами в 2008 році!"

І схоже, він може мати рацію. Мій другий колега скористався загалом інформативним веб-сайтом MCC, щоб відстежити дані, які можуть пояснити цю можливу аномалію. Вона відповіла:

"Поточних даних не повідомляється. Я справді підтвердив вихідну цифру 97 кг (або 214 фунтів). Але ... у звіті з МіО зазначено, що базовою лінією було 2012 рік (а не 2008 рік) для когорти телят, збільшення ваги яких буде контролюватися. Звучить як стрибок зростання підлітків ".

На жаль, я додав цю історію до свого файлу на тему «Приклади, що демонструють важливість протилежних факторів», і позначив її як «Вагомий випадок для пояснення відмінностей у відмінностях». Потім я ще раз подивився на прес-реліз, щоб отримати інформацію, щоб відновити свою віру у стандарти жорсткості MCC.

Ось! Інформація про прибутки:

"... завдяки навчанню, що фінансується MCC, вдосконаленим методам та отриманню корови з кращою генетикою, Талл [фермер із пухкою коровою] очікує більш ніж подвоєного щоденного виробництва молока - збільшення, яке принесе Tall ще 6 доларів на день, він сказав."

Талл також збирає коров’ячий гній і продає його сусідам для добрив - практика, яка за останні 18 місяців заробила йому майже 550 доларів.

Я надіслав це електронною поштою своїм друзям, які відповіли:

"Не схоже на те, що корови вгодовані, але фермери отримали нових і вдосконалених корів. Вони замінили своїх догів на Херефорд!"

"Щоб програма на 142 мільйони доларів була економічно ефективною, фермерам потрібно продати більше гною, ніж MCC!"

Тепер це здавалось абсолютно несправедливим. Зрештою, чистий прибуток у 6 доларів на день від збільшення виробництва молока плюс 360 доларів більше надходжень від добрив за ті ж 12 місяців становить приблизно на 2500 доларів на рік більше прибутку від молока та продажу гною. Я відповів по електронній пошті: чи можливо, що фермер у сільській місцевості країни, яка має дохід на душу населення 300 доларів, отримав збільшення річного доходу на 2500 доларів в результаті програми?

"Можливо, але лише в тому випадку, якщо містер Талл є надзвичайно успішним фермером. Якби MCC мав дані моніторингу, щоб показати середньорічний приріст доходу приблизно в 1000 доларів на фермера, це може виправдати ціну в $ 36,5 млн на цей компонент. Це було б набагато більше корисно знати, ніж історія про виняткового містера Талла ".

"Цифри все ще звучать по-рибськи (вдосконалених корів часто годують рибним борошном ...)".

Достатньо сказав. Нам було весело гратись зі статтею та карати навколо.

Залишаючись на стороні, MCC повинен знати, що його репутація як іншого виду агентства допомоги спирається не на переконливий характер особливих випадків, а на досвід усіх фермерів. Загалом анекдоти оманливі. Вони, як правило, трублять окремі історії успіху незалежно від пов'язаних з цим витрат і звертають увагу на зміни, які могли відбутися навіть без програми. Коли MCC заявляє про успіх на основі таких історій, це руйнує характерний характер прихильності MCC до економічно ефективного впливу.

Якщо MCC задокументував цей проект так, як він стверджує, що він робить, то він повинен знати середнє збільшення доходу у всіх фермерів, необхідне для досягнення мінімального рівня впливу, необхідного для успіху. Далі, дані їх моніторингу повинні виявляти, чи працює програма чи ні. Тоді читачі могли зрозуміти, містер Талл є представником фермерів у програмі чи надзвичайно успішним. Для пояснення може знадобитися додатковий абзац або два, але шанувальники MCC очікують, що аналіз підтвердить анекдоти. Як писав один колега:

"... це довгий і (пан) високий".

Дякую моїм колегам, які регулярно кидають мені важкі виклики та аналітичні ідеї у смішні пакети.