Math Ajax

понедельник, 28 сентября 2015 г.

Чанкинг и проклятье знания

(note: согласно моему плану захвата мира, тут нужен текст про чанки. Так что именно этим мы и займёмся)

* * *

Итак, есть несколько видов памяти. Долговременная: в неё записываются штуки длительного хранения, например, расположение своего дома. Кратковременная: в неё записывается список покупок или (иногда, к сожалению) ответы на экзаменационные билеты. Есть ещё рабочая память, в которой, например, хранится номер телефона в течении того времени, которое нужно тебе, чтобы найти ручку и бумагу.

Самый простой пример чего-то из рабочей памяти - это арифметика в уме. Для того, чтобы мысленно умножить 13 на 56 (не смотря на числа, не используя ручки и бумагу или математические трюки) нужно сначала запомнить четыре числа, потом умножением вычислить промежуточные цифры, и наконец, сложить всё вместе. Эта задача нелегка: нужно не растерять числа и не запутаться в разных операциях.

Рабочую память можно сравнить с руками. Руки могут держать инструменты и использовать их: к сожалению, руки только две, и поэтому нельзя забивать гвоздь и отмахиваться от комаров одновременно.

Можно сказать, что размер рабочей памяти - это число слотов под разные инструменты. Это чуть больше, чем натянутая аналогия: я слышал рассказ об обезьянах, которые могли и не могли научиться раскалывать кокосы. Способ раскалывания требовал операций с тремя предметами сразу: нужно было придерживать камень-наковальню, держать над ней кокос, и бить по кокосу острым камнем. Не все обезьяны были способны схватить эту идею. Часть обезьян могла удержать в сознании только два действия, упуская третье; в результате обезьяна обретала не вкусную мякоть, а избыток фрустрации.

Теперь можно обьяснить, что такое чанки. Чанк (chunk, кусок) — это набор концептов, связанных вместе так, что они занимают один слот рабочей памяти (хотя могут ссылаться на много вещей), и позволяют воткнуть в остальные слоты ещё что-нибудь.

Стивен Пинкер иллюстрирует этот механизм таким примером. Возьмём строчку рандомных букв:

Х Б Г И Б Д Д Т Ф К П В В П М Г Т У

Такие строчки трудно удержать в голове. Однако, если сгруппировать буквы в знакомые аббревиатуры (Х/Б ГИБДД ТФКП ВВП МГТУ), то обращаться с тем же самым набором из 18 букв становится легче: дело в том, что эти сокращения соответствуют знакомым, сжатым чанкам.

(Можно сгруппировать эти пять понятий в одно: например, если сочинить про них историю. На этом принципе основываются современные мнемонические техники)

Как выглядит ситуация, когда чанки сформированы не до конца?

Например, ты понимаешь все составные части какой-то сложной идеи, но хватаешься за голову, когда пытаешься соотнести их воедино: общая картинка расплетается, а нити выскальзывают из пальцев и не влезают внутрь головы.

(Тут дело в том, что составляющую большую мысль кирпичики не являются сформированными чанками, занимают слишком много места и не оставляют места под остальные кирпичики)

Или ты можешь понять каждую задачу, решение которой разобрано в учебнике, но у тебя не получается решить аналогичную задачу самостоятельно.

(Тут дело в том, что у твоих чанков нет чётких границ: ты знаешь, как применять Метод М, но у тебя нет интуиции, которая автоматически говорит о том, что в Ситуации С лучше всего использовать Метод М. Эта интуиция — важная часть чанка, которая говорит о том, как этот чанк связан со всеми остальными чанками)

Как бороться с такими проблемами? Практика: тесты, неформальное обсуждение с братьями по несчастью и, конечно же, попытки решить самостоятельно.

Про последнее можно сказать чуть больше: если нет возможности тренироваться на аналогичных задачах, то можно разными способами анализировать уже решённые задачи. Попытки угадать следующий шаг из решения задачи, попытки восстановить следующий шаг её решения по памяти, попытки решить другим способом (осознавая границы, в которых эта техника работает или не работает).

Для чанков нужна практика. Их можно трактовать как замороженные куски вычислений, произведённых мозгом в процессе этой самой практики — но подробней об этой перспективе как-нибудь в следующий раз.

* * *

Это далеко не все проблемы, которые затрагивают чанки. Очень часто проблемы вызваны не столько недосформированными чанками, сколько взаимодействием между людьми, у которых сформирован разный набор чанков.


Например, когда ты читаешь текст, написанный хорошо разбирающимся в области профессионалом и попеременно либо утопаешь в жаргоне, либо спотыкаешься на переходах, которые автор не стал разворачивать, потому что они показались ему очевидными.

Или ты спрашиваешься у местного аборигена дорогу до ближайшей автобусной остановки, получаешь набор инструкций, а затем переспрашиваешь ещё раз, потому что не смог осознать ответ сразу: фраза "дойдите до длинной голубой четырёхэтажки, а потом налево" не вызывает в голове никаких сжатых образов, и поэтому её надо запоминать целиком. А потом по пути попадётся четырёхэтажное здание синевато-зелёного оттенка, вызвав у тебя много философских раздумий о цветах и о том, что означает "быть длинным".[1]

Или ты заходишь на сайт провайдера, желая выбрать себе подходящий тариф. Ты обнаруживаешь, что тарифы раскиданы по нескольким рубрикам по непонятному принципу, и большинство страниц о тарифах повествует об разнице между Услугой У и Программой П с подключённой Опцией О, совершенно умалчивая о том, в чём все эти услуги заключаются сами по себе. Потом ты находишь какую-то страницу об интересующем тебя тарифе: эта страница начинается не с краткого его описания, а с обьявления о том, что надцатого числа позапрошлого месяца был изменён лимит скорости и условия оплаты.
Что можно сказать про эти ситуации? Ну, с какой-то точки зрения, дело тут в том, что у тебя нет нужных чанков. Нет чанков про то, как выглядит окружающая местность. Нет чанка про Тариф Т. Наконец, нет чанков про ту информацию, которую ты ищешь в книге.

Но здесь скорее виноват собеседник, который пал жертвой повсеместной тенденции, называющейся "проклятье знания" — curse of knowledge.

Дело в том, что когда у тебя есть хорошо встроенные и привычные чанки, то ты видишь мир через их призму, не всегда эту призму замечая. Выглянув в окно, ты не задумываешься о том, что наверное происходящее снаружи удобно описать при помощи понятия "гроза", которое объединяет в себе множество аспектов природы. Ты просто выглядываешь в окно и видишь, что на улице гроза.

Поэтому тебе очень чужд образ мыслей человека, который этими чанками не обладает. Поэтому тебе трудно представить себе мир глазами такого человека, и поэтому ты не представляешь, сколько понятийных шагов назад следует сделать.

Можно сказать, что этот механизм проявляется как недооценка понятийных расстояний, эффект знания задним числом, иллюзия прозрачности, эффект ложного консенсуса, ошибка типичного разума и кучей других способов.

Но самое интересное проявление этой штуки, на мой взгляд — это парадокс Моравека, наблюдение о сравнительной сложности задач для компьютеров и для людей.

Задачи, сложные для людей — гигантские арифметические выкладки, игра в шахматы или решение дифференциальных уравнений — оказываются лёгкими для компьютеров. При этом почти любая задача, которую без труда решает ребёнок — перешагнуть через препятствие, узнать лицо родителя, прочитать букву, ответить на вопрос — оказывается титанической, неподъёмной проблемой для компьютерных алгоритмов.

И не в последнюю очередь дело тут в том, что способность узнавать лица людей воспринимается, как должное и кажется людям чем-то настолько естественным и примитивным, что никто понятия не имеет, как именно эта способность работает, и поэтому не знает, как именно её реализовать алгоритмически.

Короче говоря, чанки это корни диалога "Как научиться плавать?" — "Просто двигай руками и ногами!". Старайтесь не делать так.

--------------
[1] И это ещё повезло: иногда жители начинают рассказывать о том, что раньше в этом здании был магазин обуви, но он переехал на соседнюю улицу и теперь в нём пиццерия, но в ней как-то дорого, зато работаёт круглосуточно и это удобно, и если работать в ночную смену, то иногда приходится есть там.

суббота, 12 сентября 2015 г.

Several English Lesswrong-related posts

Порция моих текстов на английском.

http://second-analytic-of-men.blogspot.com/2015/09/bayesianism-for-humans-probable-enough.html

http://second-analytic-of-men.blogspot.com/2015/09/bayesianism-for-humans-prosaic-priors.html

http://second-analytic-of-men.blogspot.com/2015/09/the-heuristic-about-representativeness.html

Первые два - это два инсайта из байесианства, которые я раньше нигде не видел. Третий - это небольшой пойнт про эвристику репрезентативности.

Расширенный разум и тезис экстернализма

(note: это часть проекта "причесать и собрать все свои тексты в одном месте". Изначально это был доклад на московском lesswrong-митапе в апреле 2014, чуть расширил и переработал текст)

Привет, мои дорогие процессы оптимизации. Мы будем говорить о том,
где именно происходит человеческое мышление (или, проще говоря, речь о физическом нейрокорреляте разума).

Знаете ли вы, что люди думают не мозгом? Нет, это не шутка про мышление задницей, я сейчас честно и серьёзно. На самом деле люди думают всем телом.

Например, есть классический трюк с карандашом. Берут группу  добровольцев, просят их держать карандаш ртом так, чтобы губы образовывали улыбку. Вторую — так, чтобы выражение лица было наоборот недовольным. Эксперимент поставлен так, что люди не догадываются о том, что на самом деле на их лице какие-то эмоции. О чудо, первая группа, которая улыбалась, оценила качество показанного ей контента намного лучше второй, которая хмурилась. 

И получается, что с какой-то точки зрения, улыбка на лице — это штука, которая сначала записывается на лицо мозгом, а потом мозгом с лица считывается и обрабатывается. 

Выражения лица, язык тела, жестикуляция и прочее — это спонтанная утечка мыслительного процесса наружу, где он продолжается телом, и на эти беглые мысли можно влиять.

Например, я очень сильно подозреваю, что жестикуляция и вправду помогает думать. Вплоть до того, что я теперь хочу советовать людям, боящимся математики, порешать примеры, тыкая пальцами в символы и посмотреть, получится ли (про это были какие-то исследования). Имейте в виду, мало ли что :)  

После этого можно было бы решить, что люди думают телом. Но это опять не совсем так. 
Потому что на самом деле люди думают телом и окружением. Вспомните, например о том, что перемножать четырехзначные числа в уме практически невозможно, а при помощи листа бумаги и ручки это получается очень несложно.

Это утверждение может прозвучать тривиальным словоблудием, софизмом  из разряда "лысина — это такой цвет волос", "раз полупустое = полуполное,  то пустое = полное" или "атеизм — это религия". 

С одной стороны, это действительно скорее философская перспектива,  нежели что-то неожиданное и эмпирическое. С другой стороны, эту перспективу стоит прочувствовать, и из нее можно сделать несколько нетривиальных выводов, и именно поэтому я вам все это и рассказываю.

Я хочу начать с одного замечательного исследования. 
Конструкция из блоков, которая лежит в зоне сверху и слева — это образец. Участнику нужно скопировать образец в мастерскую (зону, которая внизу и слева), используя блоки из большой зоны справа. Цветные блоки перетаскиваются курсором.

Как решать эту задачу? Кажется, что логичнее всего было бы посмотреть на образец, запомнить цвет и позицию нужного блока, найти нужный блок на  складе, а потом перетащить его мышкой в нужное место. 

Что-то в духе "Ага, мне нужно взять красный блок и поставить его над зелёным. Где красный? Вот красный. Ага, ставим его под зелёным, это вот здесь".

Но на самом деле люди выполняли задачу не так. Если проследить за движением их зрачков, то становилось понятно, что на самом деле происходило что-то в духе "Ага, мне нужно взять красный блок. Где красный? Вот красный. Куда его ставить? Под зелёным. Ага, ставим его вот сюда", т.е. человек запоминал только один кусочек своей задачи: либо цвет, либо позицию.

Что происходило, если незаметно поменять цвет перетаскиваемого блока?

Во-первых, обычно никто этого не замечал. Во-вторых, люди тратили на задачу чуть больше времени. В-третьих, перекрашенный блок в итоге ставился в подходящее для него место, с учётом его нового цвета. 

Получается, что у человека было какое-то смутное представление о том, в какое место образца нужно было смотреть, и это всё. Такая вот стратегия экономии памяти: вывалить во внешний мир всё, что только можно, и этого не смущаться.

В своей статье авторы исследования прямым текстом говорили, что "перевод взгляда в другое место можно напрямую сравнить с изменением указателя на объект в памяти компьютера" ("Changing gaze is analogous to changing the memory reference in a silicon computer").

Можно привести очень простой пример, когда окружение непринужденно используется не для хранения информации, а для экономии вычислений: Тетрис.

Представьте,  что вы играете в Тетрис. Сверху падает L-блок, и панорама внизу похожа  на поле битвы. В этих условиях многие люди будут вращать детальку, чтобы было понятнее, куда она может встать, а куда — нет. 

А почему они это делают? Можно же повернуть детальку в уме. 

Потому что нужны мысленные усилия, а их жалко. (есть даже оценки времени; 100 мс на вращение детали на экране, 200 мс на нажатие кнопки, и порядка 1000 мс, если делать то же самое в уме). 

Поэтому мы просто вываливаем свои вычисления из мозга в окружение. 
Для людей это очень привычная и естественная стратегия мышления, которую они обычно не замечают. Её можно встретить в очень многих местах: например, люди сортируют свои карты при игре в дурака, хотя теоретически могли бы запомнить расположение всех карт.

Обдумав всё это, а также рассмотрев кучу мысленных экспериментов про людей-со-слабой-памятью-записывающих-всё-в-блокнот и нейроимпланты-которые-ускоряют-вращение-фигурок-Тетриса, Энди Кларк и Дэвид Чалмерс предлагают принцип эквивалентности: если единственное отличие процесса X от родных когнитивных процессов человека N состоит в том, что X происходит снаружи черепа N, то X стоит объявить частью родных когнитивных процессов N [1]. 
  
Мне хочется найти более запоминающееся название для этого принципа. Я называю его "тезисом экстернализма".

Перейдём к интересным выводам.

Моральные выводы

1) 
Если вам говорят "ну нельзя же так полагаться на свой смартфон", то не надо испытывать стыд. Не надо пытаться оправдываться. Правильная реакция — это недоумение. 

Если вы не помните, как звали того прикольного древнего грека с рычагами, которого убили при осаде Сиракуз, но помните запрос в гугл, по которому эта информация находится первой ссылкой, то вы ведёте себя так, как и завещала Мать-Природа. Для мозга совершенно естественно вываливать работу в окружение, и было бы очень странно, если бы эволюция построила бы мозг иначе.

А если вы стараетесь запомнить всё наизусть, чтобы не полагаться на техносферу — то вы на самом деле высокомерный наглец, дерзнувший бросить вызов естественному положению дел :)

2) 
Нехорошо переставлять значки на чужом рабочем столе, трогать без спросу чужую электронику, перевешивать календари и так далее. Просто потому, что в какой-то степени это то же самое, что и промывка мозгов, и промывка мозгов — это важный ответственный шаг, к которому следует относиться крайне серьёзно.

3) 
Очень странно говорить про то, что пользоваться какими-то внешними протезами "нечестно", хотя в нашей культуре принято так считать. 

Например, дисциплинированным человеком обычно считают человека, который в случае чего способен потратить очень много силы воли, а не человека, который организовал свою жизнь таким образом, чтобы максимально экономить силу воли и всё равно добиваться своих целей.

Точно также очень странно считать плохим человеком, например, расиста, который отлеживает свой расизм и сознательно корректирует своё поведение так, чтобы не выпускать его наружу. 

Скажем, он сознательно предпринимает какие-то усилия для того, чтобы увидеть в неграх живых людей, и поэтому он регулярно сверяется с чеклистом, в котором есть пункты "спросить у собеседника его любимое хобби" и "узнать, откуда он родом". Или, может быть, расист принимает какие-то медикаменты. Или регулярно посещает терапевта.

Про такого расиста можно сказать лишь то, что это замечательный, ответственный человек, в котором нет ничего дурного, и которому не стоит ничего стыдится.

Если мы не понимаем, как проводить границу между мозгом и окружением, то как можно проводить границу между разными частями собственного разума и делать после этого какие-то моральные выводы? Если мы решили, что бессмысленно говорить "ты без своего блокнотика козел", то говорить "ты без своего левого полушария козел" и подавно полная бредятина. 

Всегда нужно рассматривать человека в целом. 

Практические выводы

1) 
Окружение — очень важно.

Если вам плохо работается, возможно, вина не на вас, а на плохом контексте. Всерьёз подумайте о том, чтобы взять ноутбук и уйти с ним в библиотеку, потому что цуёку наритай.

Не засоряйте информационно ту среду, в которой вы живёте. Если есть возможность, то работайте в специально отведённых для этого местах, и в этих местах занимайтесь только работой.

(когда я писал этот текст, я лежал на кровати с ноутбуком. Ещё на кровати я сплю. Ещё у меня проблемы со сном. Думаю, что это не просто совпадение. Не делайте, как я. Я-то студент, а вы взрослые люди с квартирами: какое у вас оправдание?)

2) 
Близкие знакомства — это не только повод приятно провести время. С точки зрения экстернализма, это удвоение вычислительной мощности.

Ещё это сильный аргумент про важность взаимного доверия между людьми. С доверием банально пропускная способность канала выше!

Ну и можно пофилософствовать о том, что какие-то формы коллективной деятельности правильнее называть мышлением, а не общением.

3) 
Вопрос со звёздочкой, ответа на который я не знаю: а как теперь относиться к шпаргалкам на экзаменах?

Получается, что шпаргалки в каком-то роде естественны. А вот традиционная модель обучения, делающая упор на записывании разных фактов в мозг — не очень естественна. 

Я слышал про преподавателей физики, которые на экзамене писали на доске кучу формул, в которой была, например, E = mc^2 вместе со своим злым братом-близнецом, E=mc^3. Намеренно искажённые версии формул можно было опознать, если ты хорошо знаешь предмет, и у тебя есть какая-то интуиция.

Мне кажется, что за чем-то подобным будущее. Если у кого-то есть какие-то идеи, то мне было бы интересно их послушать.

Заключение

Итак, ещё раз: мозг настолько обожает вываливать вычисления в окружение, что было бы естественно считать некоторые внешние штуки частями его мыслей. С этой любовью бессмысленно бороться, и бессмысленно её осуждать. Используйте её!


------------------

Литература

Статья Ballard, Deictic codes for the embodiment of cognition
Статья David Kirsh и Paul Maglio: On Distinguishing Epistemic from Pragmatic Action
Книга Andy Clark, Supersizing The Mind (и его же статья Extended Mind в соавторстве с Chalmers)
[1] А ещё они приводят неполный (но интересный) список требований, которому должны удовлетворять ресурсы, имеющие право называться частью разума:
1) Обращение к ресурсу должно быть частым и типичным (например: не отвечать "не знаю", не проверив перед этим свой блокнот).
2) Необходимая информация добывается быстро и легко, почти сразу же после того, как она потребовалась.
3) Полученная информация автоматически принимается на веру в той же степени, как и информация из биологической памяти: нет никакой критической проверки, которой подвергаются мнения других людей или результаты поиска в интернете.
4) Но эта информация в какой-то момент проходила осознанную критическую проверку, и человек "положил её внутрь" ресурса именно потому, что он счёл её надёжной.
 

PS: 
Куда можно покопать дальше?

1) Есть две статьи, в которых прокрастинация и сила воли рассмотрены с точки зрения расширенного разума: Procrastination and Extended Will и
Mental Muscles and the Extended Will.

2) Есть книга "Антимозг", где утверждается что излишняя зависимость от электроники и интернета ведёт к разрушению жизни людей.

3) Хорошие паттерны использования метакортекса: смартфон и окружающие люди.

4) Можно рассказать про феномен зонда и границы телесности. Это интересно и немного трансгуманистично.

Возможно, когда-то у меня дойдут до этого руки.

Кажется, это какая-то аналогия к чему-то

Начну in medias res. Так вот, несмотря на то, что в стандартных действительных числах [1] 0,9999... = 1, есть люди, которые с этим несогласны.

Нести им свет истины можно разными способами. Например, можно вкрадчиво спросить их, есть ли какие-то числа посередине между 0,(9) и 1? Как же выглядят эти числа?

Чуть подумав, человек отвечает, что никаких промежуточных чисел нет. Между 0,(9) и 1 есть один неделимый квант числовой прямой, один атом линии.

"Тогда получается, что разность "1 - 0,(9)" — это не ноль, но минимальное число, большее нуля? Радиус атома?" - можно спросить в ответ.

"Получается, что да" — отвечает собеседник, которому это кажется очень логичным и интуитивным — "Это число можно обозначить, как 0,0000...1".

После этого можно пойти разными путями, и недавно я узнал новый.

Числа, аналогичные 0,99999... существуют во всех системах счисления. Например, в двоичной системе счисления 0,11111... = 1: этот факт отражает, что 0,5 + 0,25 + 0,125 + ... = 1.


И аналогичное рассуждение говорит, что тогда разность 1 - 0,(1) тоже есть особенное, неделимое число, которое в двоичной системе счисления выглядит, как 0,0000...1. И это тоже минимальное число, большее нуля.

Но это же другое число! И в десятичной системе счисления оно будет выглядеть, как 0,00000...5! Выходит, что теперь величина этого неделимого минимального числа изменилась в пять раз!

Числа существуют сами по себе, не зная про нас и наши произвольные решения, продиктованные удобством. Но при этом имеется волшебное действие на расстоянии: я могу менять размер атомов числовой прямой, подобрав другую систему счисления. Происходит вторжение в платоновский мир идей, и по абстрактным понятиям начинает идти рябь [2].

И это искомое противоречие: выбор основания системы счисления не должен менять глубокие свойства числовой прямой.

Выбор базиса не должен менять, какие преобразования обратимы, а какие нет. Выбор точки отсчёта не должен менять, какие точки являются локальными максимумами. Выбор словаря и системы ценностей не должен менять, какие утверждения о фактах истинны, а какие нет.

Скомкать карту — не значит скомкать местность.



--------

[1] Как со всем этим обстоят дела в нестандартных моделях? В некоторых из них можно ввести — на мой взгляд, не очень естественно или интуитивно — сначала что-то в духе десятичных дробей, а затем и 0,(9) так, чтобы это было не равно 1. Но при этом там обязательно имеется гигантская паутина бесконечно малых величин, и никаких атомов быть не может.

[2] Если верить законам вселенной The Laundry Files, то это явно тот момент, когда шогготы начинают заинтересованно смотреть в сторону нашей галактики и облизываться.