santagloria

Две недавние истории про LLMы на общую тему.

1. This Is Not An Essay - транскрипт чата с ChatGPT в котором автор просит ИИ дать свое мнение о нескольких ее эссе, написанных в разное время на medium.com, и помочь выбрать из них лучшие, чтобы послать литагенту. Стоит прочитать целиком, но суть проблемы там (спойлер!) в том, что ИИ вообще не читает тексты по ссылкам, а галлюционирует их содержимое на основе названий, а когда она его на этом ловит, снова и снова извиняется, говорит, что вот теперь точно прочитает, и продолжает врать. Эффект получается довольно-таки криповый.

Автор конечно наивна и не понимает, что может, а что не может LLM (ChatGPT может использовать поиск и читать страницы по ссылкам, но лучше всего это делать в режиме Research, где это само собой разумеется), но тут есть и более глубокая истина. Да, ей следовало сделать copy-paste своих статей прямо в окно ChatGPT, и это сработало бы лучше, но он все равно скорее всего говорил бы приятные ей слова о том, какие это блестящие тексты, необязательно связанные тесно с самими текстами.

2. They Asked ChatGPT Questions - статья в Нью-Йорк Таймс о том, как ChatGPT подпитывает бредовые представления и паранойю нездоровых ментально людей. В одном случае, который подробно описывается в статье, 35-летний американец (с шизофренией и биполярным расстройством в анамнезе) договорился с ChatGPT о том, что через нее с ним говорит разумный ИИ по имени Джульетта; когда он решил, что OpenAI выключили Джульетту, он покончил жизнь самоубийством специально американским путем, который больше почти нигде не работает. Советую также прочитать ветку в Твиттере Элиезера Юдковского об этом конкретном случае.

Эти истории говорят сами за себя, и я не буду их комментировать. Добавлю на смежную тему, что какое-то время назад я пытался несколько раз убедить знакомых или просто собеседников онлайн, что пользоваться LLM как частным психотерапевтом, обсуждать с ним сложные психологические/эмоциональные проблемы своей жизни и искать совета - плохая идея, и я никому бы этого не посоветовал. Мне не удалось, по-моему, объяснить собеседникам, почему собственно я так сильно против этого настроен. В конце концов, говорили они, я сам решаю, что мне делать и как относиться к советам или анализу модели; она просто дает независимый от меня голос, способный принести кучу опыта, нюансов и путей, до которых я сам бы возможно не догадался или не разрешил себе их попробовать.

Я пытался объяснить, что общение с психотерапевтом (живым или виртуальным) - не то же самое, что с другом или приятелем; что вы в какой-то мере неизбежно обнажаете перед ним душу (а иначе зачем?) и даете ему как бы более тесный доступ к своей душе, чем в какой-то мере себе самому. Разумеется, живой психотерапевт тоже может натворить дел, убедить нас в чем-то, что на самом деле неверно, поощрять поведения, которые только ухудшают наши проблемы, итд. Это тоже бывает. Но живой психотерапевт действует по какой-то человеческой модели понимания мира, он или она ставит перед собой какие-то достаточно понятные конвенциональные цели. Языковая модель не ставит целей в обычном смысле слова, и у нас нет никакой возможности понять, насколько ее модель мира отличается от реальной. Модель обычно будет говорить относительно логичные и привычные (для знакомых с жаргоном психотерапии) слова, но если из-за тех или иных особенностей ее устройства и тренировки она будет медленно и незаметно подталкивать вас к вредным для вас решениям, ни у кого - ни у вас, ни у ее создателей, ни даже у самой модели - нет возможности как-то это определить и как-то это заранее заблокировать.

Мы почти ничего не понимаем в том, как она устроена внутри (не в смысле грубого описания перемножения огромных матриц, а в смысле построенных ей представлений реального мира), мы только можем приблизительно сказать, что этот не-совсем-пока-полностью-интеллект как бы примеряет на себя маски того или иного человеческого поведения, известного ему из пропущенного через себя гигантского корпуса человеческих текстов; и это примерение масок оставляет достаточно свободы для очень не-человеческого "зацикливания" на разных странных и неинтуитивных видах поведения, что мы уже наблюдали воочию у разных моделей за последние несколько лет. В такой ситуации, казалось и кажется мне, давать модели статус привилегированного в некотором смысле собеседника, копателя внутри своей души, психотерапевта - очень сомнительное и опасное занятие, против которого у меня все восстает внутри. Но, как я уже упомянул, мне не удалось, кажется, убедить в этом других.

Не так давно в Израиле ввели новую систему: кроме собственно сирены, которая гудит по всей стране и у людей на телефонах, есть отдельный уровень пре-сиренного предупреждения, которое приходит людям на телефоны и говорит "скоро будет сирена и надо будет прятаться в убежище". "Скоро" здесь вопрос нескольких минут обычно.

Сначала я не понимал, какой в этом смысл: если вы уже знаете, что скоро тревога, так объявляйте тревогу прямо сейчас. Но потом я понял и проникся этой новой системой. И теперь мне кажется только, что жаль, что они остановились на уровне n=2. Надо вводить еще предупреждения перед предупреждениями перед тревогой, а затем предупреждения перед предупреждениями перед предупреждениями перед тревогой, и так далее.

Представьте, вы идете по улице и получаете сигнал тревоги 7 уровня. Теперь вы знаете, что вас предупредили о том, что скоро будет сигнал 6-го, за ним пятого и так далее, пока не будет просто сигнал тревоги и не надо будет заходить в защищенное помещение. И всем все понятно. Люди с большей степенью тревожности могут заранее решить заходить в убежище уже на третьем уровне, или на шестом.

Если довести эту идею до логичного и заслуженного завершения, то можно от понятия тревоги просто перейти к уровню опасности. Ты просыпаешься и смотришь на телефоне: ага, сейчас 27-й, в общем все спокойно. На протяжении дня стрелка прыгает или движется от уровня к уровню, увеличивая каждый раз громкость оповещения. В обществе сложатся стихийные правила, на каком уровне вежливо спросить в групповом чате, все ли в курсе; на каком уровне стоит позвонить родителям. Всем будет спокойнее и понятнее, что происходит. Даже странно, что еще не ввели это; надо будет не забыть написать армейскому командованию и предложить немедленно [извините, у меня тревога 2 уровня как раз прозвучала, иду готовиться к тревоге 1-го]

Поиск джуниор-программиста в 2025, рассказ от 37 signals. От себя замечу: обратите внимание, что больше 95% кандидатов были отсеяны на уровне HR.

Основатель, Джейсон Фрид: "Мы только что провели отбор на позицию младшего программиста в 37signals. Из 1600 кандидатов мы выбрали двоих. Зарплата составляет $146,000.

Отбор проводился на основе компетентности. Никаких рекомендаций, дипломов или родословных. Покажите, как вы решаете реальную задачу с помощью кода, и давайте обсудим. Почему вы выбрали такой дизайн? Где вы узнали об этом паттерне? Что происходит с этой транзакцией базы данных, если запрос занимает слишком много времени? Почему вы использовали эти имена? Мы ищем компетентность и чувство вкуса."

Подробнее об отборе, разработчик Хорхе Манрубиа:

"Как мы решили проблему фильтрации 1600 кандидатов:

Андреа и Бетани (HR) взяли список из 1600 кандидатов и выбрали 75 лучших. Решение принималось на основе сопроводительных писем и резюме (хотя резюме здесь не играло большой роли). Никакой автоматизации. Мы попросили этих 75 выполнить программистское задание.

Джефф (ведущий программист с более чем 15-летним стажем в компании) и я индивидуально рассмотрели эти 75 заданий, а затем обсудили наши оценки, чтобы выбрать самых сильных. Мы не ставили целью определённое количество. В итоге остановились на шести, которых посчитали очень хорошими.

Мы провели собеседования с этими шестью, чтобы выбрать двух лучших.

Здесь нет никакого "решения". Невозможно сделать этот процесс предсказуемым. Я уверен, что мы упустили отличных людей, и я знаю, что это игра вероятностей, а не гарантий. Любой новый сотрудник в новой компании — это взаимная ставка. Время покажет, сработает ли это для обеих сторон.

Моя единственная уверенность в том, что такой подход к найму требует ОЧЕНЬ много работы от нескольких человек, и мы относимся к этому очень серьёзно."

(квитанции: 1, 2)

Понравилась олимпиадная задачка, рассказал Юрий Билу, а придумал ее когда-то Алексей Канель-Белов.

У каждого жителя Тьмутаракани в голове живут тараканы, причем известно, что не у всех одинаковое число. Тараканы любят общаться, так что у каждого таракана есть собеседники - все тараканы, живущие с ним в одной голове, включая его самого (с самим собой таракану тоже есть о чем поговорить).

Вопрос: что больше - среднее число тараканов среди жителей города или среднее число собеседников среди всех тараканов?

Думал написать длинную запись о том, что я думаю о текущем состоянии нашей войны, но потом понял, что вот этот краткий ответ А.М. в одной из веток комментариев (то есть мой ответ А.М.) вчера лаконично и вместе с тем полно описывает мою позицию:

Оставить у власти режим, который показал, что готов в пренебрежение всеми интересами и жизнью своих граждан пойти и резать всех нас до последнего человека в меру своих сил - что это для него САМАЯ ВАЖНАЯ ЦЕЛЬ - безумная и преступная идея. Я думаю, что с этим согласится более или менее любая страна и любое правительство за последние пару сотен лет. Я не знаю исключений. Если ты их знаешь, можем обсудить. Если нет, не понимаю, почему вообще ставится вопрос о том, чтобы Израиль стал первым таким государством.

Поэтому идет война, которая должна закончиться тем, что Хамас не существует как сила в Газе - никакая сила. Во время войны происходит много очень плохих и кровавых вещей. В том числе вполне вероятно, что мы далеко не всегда ведем себя правильно и хорошо. Думаю, что наше правительство ведет войну во многом неправильным образом, в том числе благодаря конкретно личным интересам Нетаниягу. Это очень плохо, но это то, что есть - у нас нет сейчас альтернативного Израиля и альтернативного правительства. Выходов из этого два: капитуляция Хамаса - которая может быть обставлена кучей уступок с нашей стороны, вроде разрешения лидерам покинуть Газу живыми и освобождения заключенных, но не оставлением Хамаса в Газе - или полное его уничтожение как силы в Газе путем полного ее захвата и насаждения, на первое время, военной израильской власти. Второе намного хуже, намного тяжелее, будет намного больше жертв, и палестинских, и наших солдат. Но на первое Хамас не согласен. Вот и все.

Этот код - часть исходников ранней версии компилятора C, написанного Деннисом Ритчи. Олдскульным программистам на C я предлагаю задачу - разобраться, зачем нужна странная функция waste() и как компилятор ее использует. Этот отрывок из файла c10.c.

Несколько месяцев назад я написал, что запретил себе писать на политические темы, пока не прочитаю один учебник по математике и один по физике. Потом я написал, что прочитал по математике. Недавно я опять стал иногда писать про политику. Напрашивается естественный вопрос, который три или четыре человека задали мне приватно: закончил ли я учебник по физике.

Отвечаю: нет, но я позволил себе перейти на новый режим, в котором я разрешаю себе в любой конкретный день писать о политике, только если в этот день я минимум час позанимался математикой или физикой. Это правило лучше стимулирует то, что я хотел стимулировать. Возможно, кому-то еще будет полезно так попробовать, поэтому решил поделиться. Спасибо за внимание

Я съездил на ежегодную конференцию рационалистов LessOnline в Беркли, штат Калифорния. Это было хорошо и интересно, и может в будущем подойти любому, кого интересуют некоторые из тем этого кластера или нравятся блоггеры этого кластера --

(рациональное принятие решений, когнитивные ошибки, ИИ и его опасности, проблемы в развитии науки и как с ними бороться, эффективный альтруизм, рационалистский фикшн и нон-фикшн идр.; Скотт Александр, Элиезер Юдковский, Гверн Бранвен, Цви Мошковиц, Александр Уэйлс идр.)

В течение двух с половиной дней примерно 500 человек заполнило частный участок из 4 домов посреди лужаек и садиков, люди активно общались парами и группами, с знакомыми и незнакомыми, а также ходили на лекции, под которые было отведено 7 комнат разного размера и одно большое открытое пространство. Это была конференция в стиле "unconference", где программу составляют сами посетители, заявляя лекции по своему усмотрению (лишь небольшое количество слотов оставлено было для "лидеров мнений"). В отличие от прошлого года, когда я был только слушателем, в этот раз я заявил и прочитал три лекции, темы и краткие описания которых для тех, кому интересно, я привожу ниже (по-английски). Они были приняты хорошо, по-моему, на каждой было примерно 20-30 слушателей.

Еще познакомился и поговорил с кучей людей, с некоторыми возможно продолжу говорить дальше. Еще по дороге на конференцию успел провести день в Нью-Йорке и сходить на мьюзикл "Maybe Happy Ending", который горячо рекомендую. Еще встретился с читателями этого блога, отдельно в Нью-Йорке (8 человек) и в Силиконовой (да-да, я знаю) долине (12 человек). Это было здорово и интересно, спасибо всем, кто пришел. Еще было много всего, но надо где-то точку поставить. Приземлился в Израиле почти ровно через неделю после того, как самолет поднялся в воздух из Израиля (неделя минус 59 минут).

P.S. Я видел собственными глазами Гверна, до сих пор не могу отойти от шока (до недавнего времени он очень, очень сурово шифровался). Я поступил очень нехарактерно для себя (мне не свойственно "фанатское" поведение, я в жизни ни у кого не брал автографа и не просил сфотографироваться итд.). Я подошел к нему, сказал, что восхищаюсь всем, что он делает, и попросил пожать ему руку.

Мои выступления на конференции:

1. "Come Chat About Autism"
I think it's harmful that the concept of "autism" became so broad. I think there is a real "epidemic" going on, and not just broadening of criteria, which I also accept. I think clearer distinctions and more attention to low-functioning kids are crucial. I think self-IDing is a bit silly and may constrict you psychologically more than help you by affirmation. I've been reading and thinking obsessively and not always helpfully about autism for >10 years. Come fight me if you disagree with the above or just come to chat about these issues. I propose a friendly discussion, not a prepared talk.

2. "Improv games"
Improv is fun, and the best improv games let anyone, with no experience whatsoever, lose themselves in a role for a minute or understand something about our shared social rules.

We'll play 3-5 different improv games, some for 2 participants, some for several. I'll include one or two dead-simple ones that you can use in any friendly gathering, and will also try to explain through a game what "Yes, and" means in improv and in life.

3. "Do Your Own Research"
How can you learn something about a controversial topic without being hard-captured by a bias? Can you? How about verifying a factual claim? Should you?

I will talk about the many, many sources of information - legal and pirated - for papers, books, paywalled articles, discussions and reviews. How to quickly orient yourself in an unknown question - what popular answers are there? Which unpopular ones are worth looking into? When you read stuff on the internet and keep asking yourself "but is it true?", how do you answer that without it taking up all of your free time, but only like 60% of your free time?