Category: наука

Category was added automatically. Read all entries about "наука".

осенняя мордочка

Intro to Statistics, Part 3

В прошлой серии были удивительные истории про мощность теста, то есть вероятность того, что годное лекарство будет-таки признано годным. Прежде чем говорить про то, как увеличить мощность, еще раз про то, почему ее так трудно измерить. Например, вот у вас есть чудо-лекарство от рака, такое, что без него выживаемость 0%, а с ним выживаемость 100% - конечно, любой, даже самый кривой, тест, опознает его как годное (то есть мощность теста будет 100%). Или вот у вас есть слабоэффективное лекарство от насморка, которое сокращает время недомогания на 20%. Вот тут уже мощность будет поганая, мало ли почему люди в ваших выборках (контрольной и подвергнутой лечению) могут выздороветь быстрее или не сообщить об оставшихся симптомах. И что, кто-то еще удивляется, почему врачи хорошо умеют лечить серьезные болезни и ни фига не могут вылечить от простого насморка?

То есть, еще раз, мощность теста нельзя посчитать как функцию только от метода тестирования и размера выборки. Она, собака, зависит от того, отличную идею мы тестируем или так себе. А мы этого не знаем, поэтому и тестируем. Замкнутый круг. И когда идея проваливается, нулевая не отвергается, мы не совсем понимаем, она провалилась от того, что идея была совсем негодной или она была годной, но слабенькой. Отсюда и все мучения.

Поэтому мощность теста можно повысить способами продуктивными: например, придумывать отличные идеи и идеально работающие лекарства, а плохоньких идей и плохоньких лекарств не придумывать. Только так люди не очень-то умеют. Еще можно придумывать новые и клевые тесты с повышенной мощностью, правильные дизайны экспериментов, способы учесть внешние, не относящиеся к делу эффекты. Только с этим у нас в науке тоже как-то так, мнэээ… но мы стараемся.

Еще мощность теста можно повысить, понизив порог, по достижении которого результат считается годным. Так иногда делают, когда выборка маленькая – начинают отвергать нулевую, когда p-value<0.1, даже если оно еще >0.05. Результат понятен – меньше годных лекарств режем, больше фуфломицинов благословляем. Тоже путь, но хотелось бы по-другому.

Ну и есть способ увеличить мощность методом грубой силы – набрать побольше выборку. Я слыхал от физиков, что у них есть правило пяти сигм – то есть p-value, при котором они все же отвергают нулевую, выражается в тысячных долях процента, они негодные идеи ошибочно годными почти не признают. Если они этим не зарезали себе всю мощность в ноль и тем не зарезали все свои гипотезы без исключения, кроме нулевой, то у них небось выборки по миллиону наблюдений. Так, понятно, могут не все: медикам для решающего теста нужны подопытные люди, а люди не электроны, их набирать в выборку дорого, да и жалко. А у экономистов другая проблема: данные стоят не то чтобы дорого, но есть только те данные, которые есть, выборку расширить обычно нельзя вообще – скажем, данные по котировкам российских акций есть только за последние 25 лет, ну вот не было в СССР акций. А в США эти данные покрывают последние лет 90, это считается очень дофига.

Так что приходится нам всем жить с научно одобренными фуфломицинами и зарезанными из-за не 100%ной мощности теста годными идеями. И это, заметьте, относится ко всем наукам, которые чуть сложнее починки часов и потому вынуждены учитывать, что в реале есть сотни факторов, которые невозможно полностью учесть и изолировать, а потому их влияние приходится моделировать как случайную везуху/невезуху.
осенняя мордочка

Intro to Statistics, Part 2

В прошлой серии у нас были две прискорбные ситуации, которые, тем не менее, у эмпириков возникают постоянно. В одной верная нулевая гипотеза отвергалась, и мы принимали негодную торговую стратегию или негодное лекарство (типа плацебо) за годное. Это, увы, неизбежно, само тестирование «на 5%ном уровне значимости» по определению означает, что такое будет происходить в 5% случаев, когда нулевая верна. Вторая ситуация была обратная: видно, что торговая стратегия или там лекарство годные, но либо выборка маленькая, либо данные кривоватые, и отвергнуть нулевую не получается. Вот в этом, втором, случае говорят, что у теста не хватает мощности. Силенок ему не хватает нулевую отвергнуть, даже если верна не нулевая, а альтернативная.

Поэтому введем понятие мощности. Это будет вероятность того, что нулевая отвергнется при условии, что альтернативная верна. То есть если мощность теста 60%, то он будет в 40% случаев объявлять годную стратегию/лекарство негодными. Англоязычные люди называют мощность power, а (1-power) называют false negative, а русскоязычные статистики говорят об ошибках первого и второго рода, и я их постоянно путаю, рода эти.

Так вот, вернемся к первой проблеме. Если отвергать нулевую при p-value<0.05, то 5% случаев, когда этого делать не стоило, дадут false positive, негодную вещь назовут годной. Кто уже догадался, почему данную проблему нельзя зарулить почти в ноль, объявив, что отвергать нулевую будем, только если p-value<0.0001? Правильно, у такого теста сразу сильно упадет мощность – у нас будет мало false positives, но овердофига false negatives. Или, если по-русски, тест, который зарежет все плацебо, также зарежет овердофига годных лекарств. И этот выбор всегда стоит и принципиально неустраним: если хочешь, чтобы негодные вещи не получали благословение науки, зарежешь также массу годных, на которых этого благословения не хватит. Если делать более высоким, труднопреодолимым порог значимости (уменьшая p-value, при котором отвергается нулевая гипотеза, и допуская, что в испытаниях может быть и просто бешеный, ураганный фарт, так что не надо быть легковерным) – то тогда понизится мощность теста, перестанешь принимать альтернативную гипотезу, когда надо бы.

Вообще мощность теста – это сильно потаенный параметр. О том, при каком p-value отвергаем нулевую, написано в каждой статье – правда, не написано, сколько раз автор пытался отвергнуть эту нулевую в пользу разных интересных альтернативных гипотез: если один, то «отвергаем при p-value<0.05» означает, что фартануть ему могло с вероятностью 5%, а если сто раз пытался – то вероятность фарта почти 100%.

А вот о мощности теста ни в одной статье не пишут – ее можно посчитать, но там надо предполагать много чего, от нормальности распределения всего подряд до того, насколько на самом деле оцениваемый параметр отличается от значения, предполагаемого нулевой гипотезой. А вот это «на самом деле» - это то, что мы не знаем и знать не можем, знали бы – и не оценивали бы ничего, и не тестировали бы. Но есть верная примета: если ученые мужи заговорили о мощности, то дело дрянь и даже еще хуже. Ничего там, значит, нормально не распределено, оценки поди смещенные, и сейчас ученые мужи начнут гонять левые симуляции, тасовать тыщу раз имеющуюся выборку (называется бутстрап) и принесут поганую оценку мощности. Например, 50% - а чтобы сразу было понятно, насколько это погано, простой арифметический пример.

Допустим, в некоей области науки за отчетный период ученые произвели 2000 негодных идей и 200 годных (это, кстати, еще довольно оптимистичное представление о научном процессе). Если нулевую отвергали, когда p-value<0.05, то 100 из 2000 негодных идей покажутся нам годными (например, 100 из 2000 фуфломицинов признают нормальными лекарствами и официально одобрят). Это неизбывная проблема значимости – мы не умеем тестировать гипотезы, кроме как предполагая, что слишком сильного везения не бывает вовсе. А если мощность нашего теста 50%, то из 200 годных препаратов мы зарежем 100. Итого в научных журналах будет в данном примере опубликовано 200 статистически значимых результатов – скажем, 100 везучих фуфломицинов и 100 годных лекарств (тоже везучих).

С одной стороны, можно заметить, что научный процесс идет: в исходной выборке непроверенных идей было 9%=200/(2000+200) годных, в опубликованных работах годных идей уже 50%. С другой стороны, очевидны издержки – чтобы этого добиться, зарубили 100 годных идей (скажем, 100 полезных лекарств). Ну и если тут читают верящие в непогрешимую науку, и от 50% фуфломицинов, полученных и одобренных научным методом, у них еще не взорвался мозг – заметим, что в отвергнутых наукой средствах находятся, среди прочего, вот эти 100 зарубленных, но годных лекарств. Там же, правда, находятся и 1900 верно зарубленных фуфломицинов – то есть в «ненаучных средствах» годных 5%=100/(100+1900).

А теперь дискотека, то есть репликации. Дотошные ученые мужи в нашем примере решили перепроверить все опубликованное на новых выборках. Из 100 фуфломицинов это пережили только 5 (которым все равно шибко повезло и во второй раз – редко, но бывает), а из годных лекарств – 50 из 100 (мощность 50% поганая штука, я же предупреждал). Теперь годных лекарств в перепроверенных результатах 91%=50/(5+50) – но в абсолютном выражении они снова несут потери, зарезали уже три четверти годных (скажем, лекарство от туберкулеза оставили, лекарство от рака зарезали – ну вот не фартануло). И процент годных «ненаучных средств» возрос – 150/(1995+150)=7%. Ну и вдобавок вышел скандал: почти три четверти, (95+50)/200 опубликованных результатов оказались невоспроизводимыми. И это, заметьте, безо всякого жульничества со стороны авторов, и криминального, и почти безобидного. И да, годных результатов опубликовали 50%, а воспроизводимость (в том числе при тестировании на себе) примерно 25% (точнее, 27.5%) – видите, какая дрянь эта мощность 50%.

О способах борьбы с этой дрянью будет рассказано в заключительной серии, а пока замечу, что способ исчисления доли годных ненаучных средств и научно одобренных фуфломицинов в предыдущем абзаце называется формулой отца Байеса, и для отработки навыков его применения можно почитать вот эту вот заметку про то, как в Силиконовой долине антитела к вирусу искали https://abetterscientist.wordpress.com/2020/04/19/why-i-dont-believe-that-2-5-4-of-people-in-santa-clara-county-have-had-covid19/
осенняя мордочка

Intro to Statistics, Part 1

У меня есть одно иррациональное убеждение, даже два, и печальный жизненный опыт никак не может заставить меня от них отказаться. Первое убеждение состоит в том, что практически всё на свете можно объяснить любому заинтересованному слушателю: несколько упростив, показав на пальцах, поотвечав на вопросы и дополнительно растолковав. Я не люблю думать, что бывают такие случаи и такие люди, что нельзя научить: ну в смысле науки, жизнь она сложнее, по жизни бывает так, что нужно пощупать своими руками и увидеть своими глазами, иначе не поймешь. Второе же мое убеждение, проистекающее из многолетней привычки к своей профессии, состоит в том, что ничего такого сложного я не делаю. Ну понятно, нельзя выловить прохожего на улице и в пять минут пояснить ему про сигма-алгебры и двойной интеграл. Но про какую-нибудь альфу паевого фонда или разницу между опционом и фьючерсом вполне можно пояснить даже прохожему, чего там сложного-то. Поскольку я неисправим, сейчас здесь будет рассказ, с шутками и прибаутками, про тестирование гипотез методами матстатистики и что это значит. Задавайте в каментах вопросы, если что.

Давайте возьмем простой, приятный сердцу финансиста пример. Скажем, я придумал торговую стратегию, которая дает доходность выше рыночной. Накупил акций, сижу и смотрю в конце каждого месяца: рынок вырос на 1%, мои акции в среднем выросли на 2%. Следующий месяц: рынок вырос на 2%, мои акции в среднем выросли на 5%. Еще месяц: рынок упал на 1.5%, мои акции упали на 2.5%. Ну бывает, не фартануло. В общем, наблюдал я так лет пять, посчитал средний рост своих акций, посчитал средний рост рынка за тот же период, первое больше второго. Хорошая, годная стратегия.

А теперь начинается матстат. Мы можем взять, например, Эксель и протестировать разницу двух средних темпов прироста на статистическую значимость. Эксель выплюнет нам такую цифирь, которая называется p-value – это, грубо говоря, вероятность увидеть то, что мы видим, в предположении, что на самом деле наша торговая стратегия не представляет собой ничего особенного и не должна бы расти быстрее рынка. Ну, скажем, за пять лет рынок отрос на 40%, а купленные по торговой стратегии акции отросли на 41% - это небольшая разница, она может легко возникнуть от того, что нам просто фартануло – и Эксель выплюнет p-value=0.8, то есть вероятность такого фарта (или сравнимого не-фарта) 80%, ничего особенного не произошло, такого результата можно легко добиться, просто набрав акций наобум, никакой стратегии не нужно. А вот если рынок отрос на 40%, а стратегия на 60%, и Эксель выплюнул p-value=0.01, то, значит, происходит что-то интересное, наша стратегия действительно отличается от остального рынка и выбранных наобум акций – вероятность получить 60% по выбранным наобум акциям, когда рынок вырос на 40%, выходит всего 1%.

В матстате это расписывают так: у нас есть исходное скептическое представление о состоянии мира: «Наша стратегия не представляет собой ничего особенного и не обгонит рынок». Это называется нулевая гипотеза. И есть та гипотеза, которую мы, собственно, и хотим проверить: «Наша стратегия – хорошая, годная стратегия». Это альтернативная гипотеза. И есть p-value, то есть вероятность увидеть то, что мы видим, при условии, что нулевая гипотеза верна. Если p-value<0.05, мы рассуждаем так: «при условии, что нулевая верна, происходит что-то странное, события с вероятностью меньше 5% так просто не случаются – значит, нулевая гипотеза не верна, мы ее отвергаем, принимаем альтернативную». Предвосхищая вопросы, почему 5%, а не 7% и не 3% - нипочему, просто так принято во многих научных тусовочках.

Для чего все это нужно? Для того, чтобы различать годную стратегию от фартовой. Годная стратегия будет работать и в новой выборке, например, в следующие пять лет. А фарт переменчив, фартовая стратегия в следующие пять лет может стать и нефартовой.

Но вот, например, бывает так, что рынок за пять лет отрос на 40%, акции, купленные по нашей стратегии, отросли на 60%, разница ничотак. А Эксель или какой статпакет смотрит на то, как колбасило в этот период и рынок, и нашу стратегию, и выдает, собака, p-value=0.12. То есть, еще раз, мы договорились в прошлой серии, что мы тестируем альтернативную гипотезу «наша торговая стратегия работает» против нулевой «стратегия не работает, просто фартануло». И мы отвергаем нулевую, если p-value<0.05, то есть вероятность наблюсти ту разницу между доходностью стратегии и рынка, которую наблюли, меньше 5%. А у нас вероятность 12%, то есть нам могло и фартануть, с вероятностью 12%. И мы не отвергаем нулевую – но это не значит, что мы ее принимаем. Я бы такую стратегию все равно юзал, даже с осознанием того, что в следующем периоде может не фартануть – при такой p-value Эксель скажет нам, что с вероятностью 95% в следующей пятилетней выборке доходность стратегии будет где-то между «рынок минус 5%» и «рынок плюс 45%». То есть да, исключить вероятность того, что доходность будет ниже рынка, мы не можем, и потому нулевую не отвергаем, но расклад мне нравится. Этот расклад, кстати, называется доверительный интервал – можно, я пока не буду про него дополнительно рассказывать? Мне нормальное распределение aka bell curve нарисовать негде, а без этого я не умею.

А бывает, конечно, и так, что мы тестировали и таки получили p-value<0.05, нулевую отвергли, приняли альтернативную. Значит ли это, что теперь все в порядке, альтернативная гипотеза верна? Да щаззз. У нас просто такое правило, что, если то, что мы наблюдаем, при условии верности нулевой гипотезы случается с вероятностью меньше 5%, то мы отвергаем нулевую и принимаем альтернативную. То есть мы неявно предполагаем, что события с вероятностью 5% и меньше невероятны, их не бывает – это, строго говоря, дурацкое предположение называется «тестирование на 5%ном уровне значимости», все так делают – и экономисты, и медики, и социологи.

На самом деле события с вероятностью 5% вполне себе бывают – в 5% случаев. Люди вон даже в лотерею выигрывают. А для матстата случаемость редких событий означает то, что, если пробовать, скажем, идиотские торговые стратегии, которые не должны работать и не работают, 5%ам из них фартанет настолько, что мы отвергнем нулевую и запишем их в работающие. Ровно так же работает тестирование лекарств от рака или какой-нить анализ крови на сифилис – иногда мы получаем результат, который на самом деле не результат, это называется false positive.

Что не так с false positive при анализе на сифилис, все понимают – потраченные нервы. А в других случаях false positive означает, что научно одобренная стратегия (нулевая отверглась, как говорится у статистиков – статистическая значимость есть) перестанет работать в новой выборке. Вроде бы успешная торговая стратегия в следующие пять лет с большой вероятностью станет расти даже медленнее, чем рынок, новое и научно проверенное лекарство от рака окажется фигней, сравнимой с плацебо, – при тестировании фартануло, а больше не фартанет, вероятность такого же фарта 5%. А что с этим делать, как настоящие торговые стратегии и лекарства отличать от липовых – об этом в следующей серии.
осенняя мордочка

Always Efficient

Как знают мои экономические коллеги, в экономике есть такое рассуждение, называемое «теоремой Коуза»: «при низких транзакционных издержках и хорошей защите прав собственности ресурс будет находиться в руках наиболее эффективного собственника». Доказывается это рассуждение так: допустим, у меня есть вещь, которую я ценю в 90, а вы цените в 100. Вы предложите мне ее продать за 95, и это будет взаимовыгодная сделка, которая и состоится. Если этой вещью было нечто, из чего можно извлекать прибыль (фирма, патент), то она в итоге таких сделок попадет к тому, кто может извлечь из нее наибольшую прибыль. Если это была вещь, обладание которой дарит удовольствие (картина, дом у моря, билет в кино на премьеру), то опять же она попадет к тому, кто ее ценит больше всех.

Два предположения в теореме Коуза, конечно же, важны: во-первых, если в примере выше (с оценками 90 и 100) наши издержки по поиску друг друга и передачи вещи из рук в руки или ваши издержки по нахождению денег для покупки больше 10, то сделка не состоится – вам, с вашей оценкой 100, будет невыгодно покупать выше 90, вам нужно покрыть разницей цены и вашей оценки транзакционные издержки, а ниже 90 уже я не продам.

Если же транзакционные издержки, в том числе по финансированию покупки, низки, то теорема Коуза имеет приписку: «при любом начальном распределении прав собственности». Эта приписка используется для травли программ перераспределения и тех, кто недоволен своим социальным положением: «если бы наиболее эффективным собственником Амазона был ты, а не Безос, то тебе бы сейчас Амазон и принадлежал, ибо теорема Коуза».

Во-вторых, если права собственности защищены плохо, то и при вашей оценке вещи в 100 к вам может явиться мордоворот с оценкой вещи в 20 и ее отнять. Вы можете, конечно, тут же купить ее у него за 21, но он придет снова, чтобы отнять и получить 21 еще раз, и так много раз, пока либо вы вещь не бросите, либо не придумаете стратегию защиты, которая стоит меньше 80 (иначе может так оказаться, что самым эффективным собственником в мире с очень дорогой защитой будет достаточно страшный мордоворот с оценкой вещи 20).

К теореме Коуза о том, что каждая вещь находится в руках у эффективного собственника, примыкает принцип экономического дарвинизма. Если производство на вашей фирме организовано неоптимально, то рано или поздно появится тот, кто ее у вас купит и организует производство лучше (теорема Коуза). Если это не случится из-за того, что вы упрямитесь и не хотите продавать, и вообще транзакционные издержки, то он откроет свою, лучшую фирму, и потихоньку вытеснит вас из бизнеса. Значит, если мы видим некоторую организацию производства, которая выживает довольно давно и во многих фирмах, то эта организация производства эффективна (экономический дарвинизм).

Можно поговорить о мелких допущениях и о том, как долго могут прожить неэффективные практики, прежде чем экономический дарвинизм их уничтожит, но это еще успеется, тут на подобные темы, похоже, будет серия постов. Пока же отмечу одно: и теорема Коуза, и экономический дарвинизм основаны на том, что люди пытаются вести себя оптимальным образом: не проходят мимо выгодной сделки, стараются превзойти конкурента. Экономические агенты всегда что-то максимизируют, будь то прибыль или удовольствие потребителя от своей жизни. Собственно, вся экономика об этом, «наука об оптимальном использовании ограниченных ресурсов».

А вот теперь буквально из определения экономики как науки будет следствие, которое многим взорвет мозг. Пишет нам Питер Лисон из университета George Mason (кто знает, тот поймет): https://www.peterleeson.com/Logic_is_a_Harsh_Mistress.pdf

«The economic approach to human behavior is grounded in a simple assumption: individuals maximize. How strange, then, that few economists accept one of maximization’s most straightforward implications: every observed institution is efficient. “But what about agricultural subsidies in the United States?” They’re efficient. “Autocracy in Turkmenistan?” Ditto. “Communism in North Korea?” The logic doesn’t change just because the example becomes more extreme. And somewhere around here is where most economists who might have been on board jump off. Maximization implies efficiency, always and everywhere, because maximizers maximize, always and everywhere. I realize that’s stating the obvious. But denial of the obvious is why most still won’t accept that witch trials in Ghana are perfectly efficient. Yet if you accept maximization, you must.»

Помимо экономического дарвинизма (неэффективные институты и обычаи давно вымерли бы, потому что нашелся бы кто-то, кто предложил бы изменения, улучшающие жизнь для всех, или нашлось бы общество с более эффективными институтами, которое забороло бы неэффективное общество), экономические люди могут вспомнить про revealed preferences: если человек выбирал между А и Б и выбрал Б – значит, так ему лучше, не надо его учить, что ему нужно было выбрать что-то еще.

Почему так случается, что некоторые общества имеют объективно плохие институты – Питер Лисон отвечает нам: «потому что, как и в теореме Коуза, все дело в транзакционных издержках – да и вообще в конкретной ситуации, в которой они находятся». В общем, не стреляйте в тапера, он играет как умеет.

«You wouldn’t aver that railroad-track production is “inefficient” because, if platinum were less costly, railroad tracks would be made from platinum instead of steel. (Platinum is harder, smoother, and more durable than steel and thus the technologically superior track material). So why aver that autocracy in Turkmenistan is “inefficient” because, if defining, protecting and/or exchanging property rights were less costly, Turkmenistan would instead be democratic? ...maximizers do the best they can, not the best they can’t.
And so it is with institutions in Turkmenistan – or anywhere else. Different institutions, once in place, may reduce transaction costs. But the transaction costs of changing institutions must exceed the savings; otherwise, institutions would [already] be different.»


Лично мне эта концепция «всегда эффективных институтов» напоминает родную мне концепцию эффективных рынков, про которую у меня уже был пост пару лет назад, так что не буду повторяться. То есть концепция это очень годная, и ее надо использовать как стартовую точку для любого анализа. Если институты и не эффективны прямо сейчас, то они стремятся стать эффективными, экономика и деятельность ее любимых людей-максимизаторов этому способствует.

Можно подозревать, что некоторые институты, например, очень новые, они еще находятся в процессе становления и потому неэффективны. Даже туркменской диктатуре, которую приводит в пример Лисон, не так уж много лет. Но уж если что простояло в неизменном виде сотни лет, то оно на тот момент точно было эффективным – а может, оно и до сих пор эффективно, просто мы от него отклонились на небольшой по историческим меркам срок. Ну много вокруг меняется, вот и перекосы в институтах временно возникают.

И вот мы посмотрим в историю и увидим там всякие вещи, которые нам по современным меркам кажутся ужасными: абсолютную монархию, крепостное право, домостроевский брак. Что нам на это скажет Питер Лисон? А скажет он, с цинизмом истинного экономиста, что все это было эффективно, и ничего лучше мы бы придумать не смогли, даже если бы попали в прошлое со всеми нашими знаниями и ценностями.

«About here, despair sets in. You disapprove of autocracy in Turkmenistan, and you want economics to ratify your disapproval. Unable to wring from it a declaration of moral failure, you beg it to declare an institutional one: “autocracy in Turkmenistan is inefficient.” Cruelly, economics declares the opposite. Alas, logic is a harsh mistress.
But she’s also incredibly productive, which is the reason we keep her around. Why is Turkmenistan autocratic? Why did English spouses sell their better halves at public auctions? How could immolating children have maximized net benefits in Orissa? Because the world is efficient, such institutions require explanation. And because maximization guarantees efficiency, it’s possible to explain them.
Since observed institutions reflect the choices of maximizers given their constraints, and since maximizers’ choices vary predictably with their constraints: (1) we know where to look for answers to institutional questions – at people’s constraints – and (2) we can check our answers by comparing the institutional differences we observe to those predicted by maximization under different constraints. What efficiency-always takes from our power to judge the world, it gives our power to illuminate it.»


И примеры, ах, что за примеры приводит этот невыносимый человек, чтобы сослаться на свои собственные статьи! Я же говорил, здесь будет про эти вещи серия постов.
осенняя мордочка

Comments: Impact Factor, Part 2

В жизни ни необходимых, ни достаточных условий нет, это же не математика. Но мне трудно вспомнить выдающегося академического экономиста, у которого меньше десятка публикаций в топ5, при этом он не довоенный и именно экономист (то есть не Нэш, не Канторович).

"Игры в топ5" нужны прежде всего университетам в промежутке между топ30 и топ150, чтобы отделять хороших и средних людей от черт знает кого. Например, при фильтрации кандидатов для интервью помогает очень. И при tenure decisions тоже.

Для тех, кто не претендует на доказательство теоремы Ферма, система с журналами очень прочно увязывает научные достижения и карьерные плюшки. Человек пишет интересные статьи, доводит их до хорошего состояния - получает теньюр и хорошую зарплату. Не пишет и не доводит - получает зарплату похуже.

Для тех же, кто хочет 20 лет работать над проблемой, предусмотрен теньюр. Решил несколько проблем поменьше, набил руку, получил теньюр, сиди работай. Материально человек пострадает немного в процессе работы, зато потом переедет сразу в Принстон или куда ему хочется. Ну и как бы всегда приветствуется публиковать промежуточные результаты, леммы там всякие. Говорят, в процессе работы над теоремой Ферма математики несколько новых разделов математики запилили.

Система ранжированных журналов неидеальна, и ее можно много в каких местах допиливать до идеала и все равно не допилить. Потому что реально-то надо статьи читать, чтобы понять, кто чего стоит, идеальная формальная система счета чего-нибудь невозможна в принципе. При найме так и делают, плюс семинар и очные встречи. Вот система журналов - это система, в которой статьи читают рецензенты и редактора, и делают вывод, первый сорт или третий. Что лучше, чем если бы их читали друзья и знакомые Кролика.

Конечно, чтение статей и формирование мнения о них на основании революционного чутья никуда из науки не денешь, да и не надо. Все promotions, даже промежуточные, здесь голосуются кафедрой/факультетом. Другое дело, что кафедре нет никакого интереса вариться в собственном соку и обалдевать от взаимного мнения о крутизне друг друга. Кафедра хочет быть заметной в науке, чтобы о ее работе знали в других университетах. Поэтому система журналов и публикаций значит при решении кафедры очень много.
осенняя мордочка

Comments: Impact Factor, Part 1

Я думаю, для конкретного человека проще всего судить о его месте в науке по рейтингу/импакт-фактору журналов, в которых он публикуется. И сравнивать с коллегами, чтобы прикинуть, какой объем (статей в пятилетку) считается нормальным. Можно тупо зайти на сайт какого-нить МИТ, распечатать десяток CV и посмотреть на степень сходства.

Давайте подробно опишу на примере тех областей, которые знаю (экономика, финансы, бухучет). Существует топ3-топ5 журналов general interest. Ранжируются они по импакт-фактору с длинной памятью, то есть журнал в конце топ-5 может в течение нескольких лет иметь импакт-фактор немного ниже, чем лучший журнал из следующей по качеству группы, но все все равно знают, в какой журнал подают статьи сначала, а в какой только если в первом отфутболили. General interest означает, что статьи в этих журналах в принципе должны быть интересны всей профессии, вне зависимости от специализации, "это должен прочесть каждый экономист".

Чтобы опубликовать статью в этих журналах, статья должна быть одновременно и интересная, и исполненная на высоком техническом уровне, и результат должен быть устойчив к разным подвыборкам, новым выборкам и т.п. Говоря простым языком, даже пара прошаренных чуваков с хорошей идеей вполне себе запарится на полгода-год непрерывной работы, чтобы там опубликоваться.

То есть посредственный ученый в таких журналах опубликуется за всю жизнь, может, раз, да и то скорее с соавторами, которые лучше него. А уж всякое шарлатанство в этих журналах получает desk-reject от редактора за пару дней, и даже рецензентов им не беспокоят. Поэтому если человек в этих журналах регулярно публикуется, то ученый он хороший. Какие это журналы, может узнать и посторонний: пойти на сайт того же МИТ и посмотреть, где публикуются люди, только что получившие теньюр.

Дальше идут журналы попроще, штук 7-10, в экономике они называются top field, то есть специализированные журналы, где публикуется лучшее в области, что за пределами области будет интересно далеко не всем. В финансах и бухучете этот слой меньше разделен по отраслям, в нем еще есть журналы, которые general interest, но похуже топ5.

Там публиковаться проще, рецензенты и редакторы понимают свое место в пищевой цепочке и не заставляют переделывать статью месяцами. Плюс, что важно, если они ее отфутболивают, то не дают "в дорогу" список из 15 рекомендаций, которые этикет требует учесть при подаче в следующий журнал.

В журналах попроще есть и хорошие статьи, которым просто не повезло с рецензентами в топ5, или у автора давно теньюр и ему эти рецензенты надоели, он попробовал пару журналов топ5 да махнул рукой. Также в журналах попроще порой попадается трэш, всякие robustness checks на статьи из топ5, mathturbation и т.п. Но большинство статей в этих журналах довольно годные, показывающие, что автор ученый неплохой, свой средний уровень он подтвердил.

На уровне журналов попроще прошаренные люди уровня выше среднего уже могут гнать объем. Но не гонят, потому что куда важнее зацепиться за топ5. Куда лучше раз-два в пять лет попадать в топ5, чем опубликовать в следующих 7-10 журналах хоть 10 статей (может, экономисты тут не согласятся и скажут, что 10 top field очень круто - значит, экономистов просто сильно больше, и у них планка, за которой нет смысла гнать объем, уехала на следующий уровень ниже top field).

То есть средних, выше среднего, и реально хороших ученых система различает. Что касается уровня будущих нобелевских лауреатов, которые ваяют нетленку, - ну тут уже трудно механически различать. Надо читать статьи, смотреть на всякие престижные премии ("лучшая статья в топ5 журнале за прошедший год"), смотреть, сколько и кто статьи цитирует. Так в лучших университетах (топ10) и делают, прежде чем теньюр дать, гнать объем в топ5 в лучших университетах не помогает.

Как правило, кстати, у авторов нетленки нет проблем в топ5 публиковаться, одно другому не мешает. Они активные, им много чего интересно, у них много хороших идей, и параллельно с нетленкой они работают и над рядовыми статьями для топ5.

А вот индивидуальный импакт-фактор и всякое хиршебесие действительно суетны, знаю несколько людей с хиршем 20, которых ни в какой журнал из топ5 никогда не брали и не возьмут. Корреляция хирша с качеством есть, конечно, но не 100% отнюдь.
осенняя мордочка

Comments: At Gunpoint

Между нами говоря, люди стремятся не столько ко всеобъемлющему, сколько ко всеобязательному знанию. Многие могут примириться с отсутствием у них знания про всех живших на земле поэтов, какие из них хорошие, какие плохие. Вот с чем примириться куда трудней – это с тем, что твое мнение про любимого поэта не разделяют. Ты говоришь, что Гумилев гений, а тебе отвечают, что рифмоплет.

В этот момент обычно очень хочется, чтобы под рукой оказалась некая виртуальная дубинка, с помощью которой можно заставить оппонента признать правоту именно твоей точки зрения. В компаниях с простыми нравами в случаях такого расхождения во взглядах, чемпион Спартак или не чемпион, обычно предлагают дать в морду. Более сложные натуры предпочитают иметь под рукой неопровержимые логические и научные доводы, чтобы противника загнать в угол и поставить перед выбором "либо я прав, либо ты неуч и дурак".

Именно поэтому у многих и многих есть потребность защищать свою веру, этику и эстетику с помощью логики и научных данных. Корявость защиты обычно компенсируется тем, что логика и наука, в отличие от проповеди, именно заставляют согласиться. Они дают власть. Во время оно про это стремление к власти всеобязательных истин хорошо и много писал Лев Шестов.

А в наше интересное время многие люди не парятся и так с самого начала и провозглашают, что у них мировоззрение основано на научных принципах. Чтобы перейти к принуждению прямо сразу, без подготовки. Мне даже интересно иногда становится: а что, их картина мира столь непривлекательна, что на нее можно уломать только силой?

Поэтому мне кажется, эти попытки "расширять границы науки" просто свидетельство внутренней неустроенности людей, которые пытаются выбить из науки ответы на вопросы, на которые она ответить не может. Скажем, человек в силу каких-то несовершенств или неудовлетворенных желаний не может совместиться с готовыми, давно опробованными этическими системами, и начинает выдумавать себе "научную мораль".

Я же не раз приводил этот пример, и выше в каментах тоже: что делать с машиной, которая пытается отличать гениальные стихи от графомании, если она дает не тот ответ, какой дает человек? Ясно что, править программу. Потому что человек здесь все же конечный авторитет. С него начнем, им же и кончим. И смысл в таком путешествии из точки А в точку А? Ну построим мы "модель гениальности стихотворения", которая будет путем всяких манипуляций, вероятно, не имеющих отношения к реальности, копировать вывод грамотного литературоведа. Не проще ли сразу спросить литературоведа?
осенняя мордочка

Comments: Scientific Controversy

Какой-то странный у вас получается "научный спор". Один говорит А, другой неА, а потом оба идут и ставят эксперимент. Это больше напоминает спор приятелей, побившихся об заклад.

Наука делается в форме статей. Каждая статья должна иметь какую-то идею. Бывают большие идеи, как в статьях Нэша или Эйнштейна. Бывают маленькие, как у рядовых ученых.

Атаковать чужую идею, "он А, а я ему неА" это не слишком креативное занятие, это не поощряется. Конечно, иногда разломать очень большой результат более ценно, чем придумать небольшую новую идею, но тот, кто говорит "неА", всегда ставит себя в подчиненное положение по отношению к тому, кто говорит "А".

Конечно, иногда сам процесс разламывания отличается оригинальностью, какой-то новый эксперимент придумал человек, новый способ работы с данными. Но чаще всего разламывание происходит из-за того, что кто-то пишет "в сторону", совсем про другое и по-другому, и все вдруг понимают, что по-новому интереснее и бросают старое. Тот же Эйнштейн не усовершенствовал теорию Ньютона и не писал ее отрицание, а придумал свою теорию.

То есть "научных споров", как вы их описываете, практически нет, существующие "научные споры" больше напоминают споры символистов и футуристов и решаются схожим образом.

Например, Перельман крут не потому что правильно доказал теорему, а потому что доказал именно гипотезу Пуанкаре. Доказал бы он какую другую, столь же правильно, никто бы и внимания не обратил. А почему так важно было подтвердить именно гипотезу Пуанкаре? А потому что консенсус ученых мужей так постановил, что это интересная гипотеза, а есть еще тыща гипотез, они неинтересные, их можно тоже подтвердить или опровергнуть, но за них даже степень не дадут.

Наука она вообще не о правильных результатах, а об интересных. И именно интересностью результатов определяется научная репутация ученого. Правильные-то результаты может получать любой выдрессированный лаборант. Ну поставил эксперимент, получил результат - это не важно само по себе, в отрыве от научного контекста. Ну прав ты, и что, всем пофиг.

А кто решает, какой результат интересный, а какой нет? А опять же консенсус ученых мужей, каждый из которых пользуется своим "революционным чутьем".

И ровно так же присваиваются ученые степени и звания: обладатели этих степеней и званий собираются и решают, интересные ты вещи делаешь или нет. То, что у тебя вычисления правильные, и эксперименты правильные, предполагается, но ничего не гарантирует. Очень похоже на апостольскую преемственность у попов, кстати.

Или вот говорят, акмеисты играли в такую игру, с подачи Гумилева, которому было не чуждо чинопочитание: "Кто тебя признал?" Гумилева признал Брюсов, Ахматову признал Гумилев (гусары, молчать!), ну а если Лидию Чарскую никто не признал из тех, кого самого признали, а только Чуковский поглумился, то опаньки Лидии Чарской.

И поэтому же редакторы научных журналов руководствуются "революционным чутьем", а не "научным подходом". Поверьте человеку, который для них написал добрую сотню рецензий. Основной вопрос для рецензента - это "интересная ли работа и занимательные ли в ней результаты". Если рецензент чувствует, что статья уныла и/или что результаты тривиальны и до них можно догадаться без статьи (статья представляет доказательство, но рецензент говорит "я бы поверил и так"), то рецензент статью зарубит. Как вы понимаете, это совершенно интуитивное решение, не подверженное никакому научному анализу - что мне интересно и во что я верю без доказательства.

Редактор, который принимает итоговое решение и выбирает рецензента (с прицелом на нужное решение), в целом делает то же самое. Никто не проверяет доказательства, не роется в данных и т.п. И даже на основании "что-то в этих результатах не так" никто не зарубает статью, кому охота потом возиться с автором, который пришлет апелляцию и будет доказывать, что все так. Потом, если статья прошла первый фильтр "интересности и занимательности", могут немного повозиться с деталями, применяя т.н. "научный подход", тестов там новых запросить. И то пару лет назад один редактор написал воззвание: "Не возитесь вы с этими деталями, если статья действительно годная, аспиранты коллеги уже после публикации повозятся".

И кстати, новые теории всегда объясняют меньше старых, потому что старые десятилетиями допиливали лобзиком и напильником и подгоняли под реальность. Новая теория обычно приходит в форме: "А вот я умею объяснить одну-две вещи, с которыми старая теория мается, и не просто скучным допиливанием, а совсем другая у меня новая идея". Если новую теорию начать долбать вопросами: "А может ли она объяснить и то, и это, что старая объясняет", - любая новая теория в первые несколько лет, а то и десятилетий своего существования капитулирует. И выживают новые теории за счет энтузиазма и кредита доверия: "Ну-ка, ну-ка, интересная штуковина, а что если ее подопиливать лобзиком и напильником тоже? Или новенького чего в нее подкинуть? Все равно не работает, зараза? А мы ее еще вот так! … Работа кипит, жить стало лучше, товарищи, жить стало веселее!"

А широкая публика смотрит с высоты птичьего полета, и диалог между научными школами воспринимает как вечное "А против неА", где А - это некая парадигмальная вещь, типа "влияет человек на глобальное потепление или нет".

У нас в финансах тоже есть школа, которая объясняет функционирование финансовых рынков исходя из предположения, что инвесторы рациональны (rational asset pricing). А другая школа (behavioral finance) - исходя из предположения, что инвесторы (некоторым образом) иррациональны.

Если смотреть с высоты птичьего полета, то кажется, что все статьи первой школы говорят "инвесторы рациональны!", а все статьи второй школы "инвесторы иррациональны!", и так этот скучный спор длится десятилетиями.

А если взять по статье каждой школы даже про один и тот же феномен и разобраться, то получится, что одна находит в нем такие-то признаки рациональности, а другая - совсем другие признаки иррациональности, и в принципе основные идеи двух статей разных школ не взаимоисключающи даже. Потому что ну может же быть такое, что феномен объясняется рациональными причинами (скажем, риском) на 70%, а иррациональными на 30%, или наоборот. Ну вот просто разный у разных школ источник вдохновения, разный способ производить тестируемые гипотезы.
осенняя мордочка

Comments: Money Talks

Не надо губить науку, можно просто не губить образование, переводя обучение российских бакалавров на английский язык. Сами же говорите, что у студентов нет мотивации учить профессиональный английский. А знаете почему? Потому что он им не нужен. Немалое число пойдет менеджерами по продажам работать, сисадмином или в банк. Еще многие в нефтянку какую, что чуть ближе к специальности, но английский все равно особо ни к чему.

Думаете, у них мотивация появится от лекций на английском? Сначала нужда должна появиться, осознание нужности, потом уже мотивация будет. МВАи вон хотят в private equity, они на курсе про mergers and acquisitions готовы камни жрать. У них нет проблем с мотивацией, они из этих знаний собираются горы бабла делать. А из химии на английском у русских студентов не получается бабло.

Я вообще не понимаю выражения "губить науку". Это что, царева игрушка? А ученые это комнатные собачки? Ну раз науку можно "погубить", просто не обращая на нее внимания. Науку тогда нельзя "погубить", когда она опирается на мощную промышленность, производящую конкурентноспособную, нужную людям продукцию, когда профессора поставляют этой промышленности студентов и аспирантов. Никак нельзя такую науку "погубить", даже если специально это поставить целью, промышленники "губителя" сожрут.

А знаете, почему в России химиков много, а химической промышленности мало? А потому что при советской власти ученых держали для престижу первого коммунистического государства. Обязательно надо было, чтобы у нас и шахматисты были, и спортсмены-олимпийцы, и вот ученые всякие. Чем больше, тем лучше, престижу много не бывает. А нужно столько промышленности или можно половиной обойтись, хороший продукт дает промышленность с помощью таких ученых или нет - это далеко не всегда принималось в расчет. Народ ходил в ботиночках Скороход, ездил на Жигулях, мыл раковины содой - а инженеров да химиков при этом было завались.

Вот поэтому единственная надежда на быстрое возрождение науки в России - это как раз "русские националисты" и прочие имперцы, которых вы считаете инфернальным злом и по совместительству "губителями науки". Захотят они кинуть перед всем миром понты и накачать деньгами ВПК - и будут в России снова востребованы самые разные ученые. Лаборатории, реактивы - все найдется. Людей тоже купят, как Екатерина Эйлера или как Зенит Халка. Будет все цвести, пока у царя не кончатся деньги или пока ему (или преемнику) не надоест. Не говорю, что так обязательно будет, но если есть желание быстрых и простых решений в стиле "через четыре года здесь будет город-сад", то это единственный шанс, хоть и без гарантий.

А второй, более правильный путь - это не ждать грантов и подачек, а начинать с основы. Как положено, сначала поднимать промышленность за счет того, что толкового русского химика можно нанять за гроши. Забыть о повадках небожителя "объяснение химии общественности - это уже неглавная задача". Научиться для начала клепать востребованных промышленностью специалистов, а не замахиваться сразу на оптовое производство передовых ученых.

Тогда, может быть, через поколение у нас будет сильная химическая промышленность, достойно оплачиваемые химики, которым нет смысла идти работать менеджером по продажам или сисадмином, и нормальная встроенная в общество наука, которую никак нельзя "погубить". А может, и не будет этого всего. Не в каждой стране есть своя марка телевизора или автомобиля. И развитая химическая промышленность есть не везде.

Но вот если мы решимся пойти по этому второму пути, вот тогда мы и поймем сразу же, что русских студентов именно на русском надо химии обучать, если есть намерение с русского общества получить на ее развитие деньги.
осенняя мордочка

Comments: Separation of Science and State

зачем вот вам обязательно нужен батюшка-царь или комиссия, которые будут что-то решать и кого-то назначать научным, со всеми прилагающимися привилегиями, а кого-то объявлять ненаучным и травить? откуда вот это желание управлять судьбами науки диктатом и палкой?

пусть каждый решает, что научно, а что нет, Поппер так, а Фейерабенд этак. а мы с вами выслушаем их и решим по-своему. вы, например, дадите денег этологам и космологам, а я не дам. отделение науки от государства, я же говорю.

ваши беды с учебником математики, который не издают, потому что недостаточно практичен и патриотичен, - это обратная сторона медали неотделения науки и государства. с одной стороны, государственной науке легко, государство от ее имени грабит граждан при помощи налогов, дает ученым денег и насильно всех обучает науке, поставляя кадры. с другой стороны, иногда государство начинает задумываться, какой такой от этой науки навар, и вспоминает, что кто девушку ужинает, тот ее и танцует.

совершенно такая же ситуация со сращиванием Церкви и государства - я всегда говорю, тут надо держать ухо востро. с одной стороны, огромные ресурсы государство предлагает, с другой - рано или поздно выставит счет, придется отрабатывать.

поэтому я всегда с некоторой грустью отношусь к предложениям "а вот давайте у нас в государственных школах будут изучать эволюцию, этологию, и еще вот это, и вот то". понятно, что людям не терпится перепилить общество под свои стандарты. но, скорее всего, в результате это как раз государство перепилит под свои нужды и общество, и этих людей, и науку.

наконец, скажу пару слов о том, почему отделять науку от идеологии должны не ученые. самое очевидное (об этом много пишет Фейерабенд): где вы видели, чтобы работник сам назначал себе зарплату, а обвиняемый сам себя судил? если мы ставим границы науке, то уж конечно не ученым их проводить. сами себе они проведут такие границы, которые им удобны, а не такие, какие справедливы или нужны обществу. (любимый пример Фейерабенда: почему гомеопаты должны проходить сертификацию аллопатов, но никогда не наоборот?)

второе соображение: к сожалению, изучение науки неотделимо от индоктринации. как в Средние века любой ученый был верующим (потому что он был в первую голову богослов, а в половине случаев и вовсе священник или монах), так и сейчас изучение науки порождает мировоззрение, основанное на стихийном материализме или позитивизме, если изучающий осознанно не сопротивляется (а для этого надо быть либо очень умным верующим, либо очень умным и большим скептиком, и желательно в возрасте до 20 лет). в этом проблема, в этом болезнь современной науки и общества, и не больным тут быть всеобщими лекарями.

кроме того, сведение научных данных в мировоззрение - это классическая философская проблема. ученых-энциклопедистов давно нет, даже ученые-философы кончились по меньшей мере полвека назад. большинство ученых вне своих узких областей беспомощны, а вместе, работая независимо друг от друга, они нам пошьют не мировоззрение, а Франкенштейна. что, собственно, мы и наблюдаем.