As fuzzy as you can

В 1998 году я случайно нашел заметку про Soundex. Меня до глубины души поразила простота алгоритма и то, что его придумали ещё в начале 20-го века, когда и компьютеров-то не было. Захотелось как-то его применить.

И я как раз нашел работу в фирме, где не помешал бы нечеткий поиск. Мы занимались обучением по переписке. Особенность процесса состояла в том, что часто приходилось искать клиентов по имени и фамилии, а не по уникальному номеру. Опечатки и описки - это пол-беды. Главная проблема была в том, что один и тот же клиент мог иногда писать свое имя по-русски, а иногда по-украински. К сожалению, Soundex хорошо работал только с английским языком.

Но нечёткий поиск продолжал меня манить. В 1999 году я писал систему по обработке газетных объявлений и сделал простой полнотекстовый индекс: сгенерировал словарь популярных слов c указателямм на соответствующие объявления. В идеале нужно было находить объявления с похожим текстом: мошенники-бизнесмены давали бесплатные объявления под видом частных лиц. Но в те времена это казалось почти нереальным. Про Google тогда ещё никто не знал. Мы делали проще - отлавливали злодеев по телефонным номерам. Мобильных тогда почти не было, поэтому сменить номер было сложно.

Интересный проект у меня намечался в банке. Один большой и очень блатной клиент требовал, чтобы банк группировка входящие (или, как их принято называть "ответные") платежи по их предназначению. Имелось в виду не группировка по формальным признакам вроде даты, номера счета или суммы, а именно нечёткий анализ текста с назначением платежа. Я с радостью взялся за дело, но мой начальник передумал: хоть моя зарплата на тот момент была маленькая, но операционистки получали ещё меньше; не было смысла тратить несколько месяцев моего времени на создание сложного софта, если эту же работу легко и гораздо качественнее может делать человек. Поэтому в результате я просто сделал маленькую программку, в которой операционистка могла группировать платежи перед отправкой клиенту.

Кстати, прошло совсем немного времени, и клиент сказал: "Я передумал, шлите мне все платежи, а я сам разберусь". В общем, это логично. Это не работа банка - разбираться в чужих платежах и особенностях ведения клиентского бизнеса. Кстати, робкая операционистка мне ничего не сказала. И только через несколько лет я случайно увидел, что она по-прежнему каждый день вручную добавляет каждый платеж в группу "Все платежи". Узнав об этом, я тут же добавил кнопку "Добавить все" и сэкономил бедной женщине несколько сотен кликов в день :)

Вторая интересная задачка называлась "Дебиторы-Кредиторы". Допустим, банк перечислил деньги на покупку канцтоваров - возникла дебиторка. Потом канцтовары пришли на склад - дебиторка погасилась. Кредиторка - это наоборот. Например, сначала клиент заплатил за выдачу пропуска. И только через несколько дней мы выдаем пропуск, т.е. выполняем свои обязательства. Национальный банк это дело сильно контролировал, особенно дебиторскую задолженность. Потому что иначе банки могли бы давать скрытые кредиты. Заплатили Васе Пупкину миллион за строительство нового офиса, а он через год возвращает эти деньги и говорит: "Извините, не получилось построить". На самом деле он ничего не строил, а крутил этими деньгами, и проценты как бы не платил (конечно, при этом Вася щедро благодарит руководство банка).

Часто возникновение и погашение задолженности можно было сопоставить по сумме. Но даже в этом случае вопросы оставались, потому что иногда бывали совершенно разные задолженности, но на одну сумму. А ещё нередко бывало, что суммы не совпадали. Например, мы заплатили за строительство, но оно продолжается год; каждый месяц акт выполненных работ частично погашает дебиторскую задолженность. Или наоборот: целую неделю разные клиенты платят за выдачу им пропусков, а потом вся это кредиторская задолженность гасится одной проводкой.

Короче, накрутил я кучу бизнес-правил, но в результате всё это так и не заработало. Как и предыдущем случае, корень зла был в неправильной постановке задачи. На самом деле никакая нечёткая логика для "Дебиторов-Кредиторов" не нужна. А нужна система для управления хозяйственными операциями банка, которая и будет генерировать проводки. Всё должно начинаться с операций, а не с проводок.


И вот, наконец, мои "нечёткие мечты" сбываются. Большой проект, в основном связанный с нечетким поиском текста. Если всё получится, то с гордостью буду показывать друзьям одно текстовое поле с кнопкой "Поиск" и говорить: "Вот этим я занимался полгода". В принципе, у нас уже был похожий проект, и всё нормально работало, но... там была база с несколькими тысячами записей, а у меня будет несколько миллионов. Те алгоритмы, которые есть, использовать невозможно. Причем не только из-за проблем с производительностью. Природа данных меняется, и нужны совсем другие правила для определения релевантности.

А в функциональной спецификации было сказано просто: "Для этого проекта необходим нечёткий поиск - точно такой же, как сейчас". Но "точно такой же" сделать невозможно. Прошла куча кучи совещаний, где я рассказывал о преимуществах и недостатках Jaccard index, Damerau–Levenshtein distance, nGrams, NYSIIS, Double Metaphone, SQL Full-Text Search, Lucene и пр. Мы долго спорили, в концев у менеджеров опухли головы и они сказали: "Короче, это... сделай как-нибудь получше... be as fuzzy as you can" (будь как можно более нечётким).

Трудно сформулировать чёткие требования к нечёткому поиску. Когда я начинал проект, то думал, что главная проблема - производительность. Оказывается, основная сложность не в том, как это сделать, а в том, что же именно надо сделать. Пожалуй, это мой первый проект, где гораздо больше времени уходит на написание спецификации, а не на программирование. Сами по себе алгоритмы давно известны и реализованы; загвоздка в том, какие именно из них, и в какой последовательности применить.

В защиту Лесопарка

Что лучше - построить новую дорогу и бизнес-центры или сохранить 10 га леса в черте города Харькова? Предлагаю почитать и, возможно, подписать эту петицию.

Я не гринписовец. Я не приковываю себя наручниками с барже с опасными отходами. Я хочу иметь машину, и я поддерживаю стоительство третьей взлетной полосы в Хитроу. Она, конечно, для экологии не очень хороша; но с другой стороны, это ненормально, когда главный аэропорт страны загружен на 98%, нет никакого запаса прочности.

Но вот в случае с Лесопарком почему-то такое чувство, что дело в первую очередь не в необходимости, а в дерибане. Если в харьковском городском бюджете есть лишние деньги, то можно найти много других загруженных мест, где можно построить развязки, туннели или новые дороги, не вырубая деревья.

В Англии в подобных случаях (когда нужно место для трассы или железной дороги) предпочитают сносить старые дома, а не рубить лес. Это тоже, конечно, очень неприятно, для местных жителей. Но их, по-крайней мере, можно переселить, а вот лес так просто не перенесешь в другое место.

И ещё один момент. Читаю, как на украинских форумах часто ругают власти за то, что они не расширяют дороги. "Вот в цивилизованных странах хайвеи по шесть полос". Да, это правда. В Америке вот прекрасные дороги. И всё равно страшные пробки. Улучшение дорог в мегаполисах - это полумера (хотя и нужная). Как раз в цивилизованных странах уже поняли, что в первую очередь надо улучшать общественный транспорт, убеждать людей ездить пореже или использовать одну машину на двоих, использовать велосипеды. И ещё - делать владение машиной дорогим и неудобным: дорогая парковка, налог на въезд в центр города, высокие налоги, штрафы, сложный экзамен на права, придирчивый техосмотр.

У нас возле дома стоят крутые спортивные машины. Стоят без дела всю неделю - их владельцы ездят на работу на метро. Им не в падлу просматривать биржевые котировки в поезде. И только по выходным или по вечерам куда-то катаются на тачке. Мэр Лондона, кстати, тоже часто ездит в метро (недавно был случай, когда поезд застрял, и пассажиры стали на него наезжать на мэра).

А вот что говорят украинцы среднего достатка, купившие Ланос в кредит на 5 лет: "Толкаться в метро? Не барское это дело..."

Eastbourne

Истборн - тихий городишко на берегу моря. Там есть классические белые скалы. Правда, они гораздо меньше, чем в Севен Систерс или в Довере. Зато много парков и учебных заведений. Я бы сказал, это более тихий, чистый и современный вариант Оксфорда или Кембриджа.

Жилье чуть ли ни в два раза дешевле, чем в Лондоне. Судя по тому, что на станции висит телевизор с инфомацией о задержках в лондонском метро, многих не пугает полуторочасовая дорога на работу.

По дороге случился конфуз. Автомат выдал мне только один бланк "туда" и сказал: "Произошла ошибка, обращайтесь в кассу". Но стоять в очередь в кассу мне было некогда, опоздал бы на следующий поезд. Без особой надежды на успех я подошел в кассу на уже другой станции. Кассир долго нажимал кнопки и, в конце концов, всё же нашел в базе мой нераспечатанный обратный билет.

Комната-жертва

Коллега рассказывал, как у них массово увольняли сотрудников во время дотком-кризиса. У начальства не было времени разбираться, кто хорошо работает, кто плохо, поэтому увольняли по комнатам: "Все, кто сидит в этой комнате, завтра могут не приходить".

Когда проходил слух об очередной комнате-жертве, сотрудники хватали системники и стулья, и пытались быстро перебежать в соседнюю комнату...

Jeremy Bentham

По пятницам мы часто ходим на обед в паб. Сегодня в Лондоне непривычно тепло, и мы сидели на улице в пабе под названием "Jeremy Bentham", на University Street. В ожидании еды я стал читать мемориальную доску на стене. Тут-то аппетит и испортился...

Оказываются, паб переименован в честь духовного отца University College London. Поскольку этого Джереми сильно уважали, его одетый скелет теперь хранится в университете даже приносится на собрания. В протоколе его отмечают как "присутствовал, но не голосовал". Мумифицированная голова тоже хранится в университете, а в пабе есть восковая копия.

P.S. А в украинском парламенте обычно делают наоборот - "голосовал, но не присутствовал".

Относительно домов

Заканчивается Маринин контракт. Вообще-то на собеседовании ей говорили "сначала на год, а если справляешься, то продлим ещё на четыре года". Но сейчас про эти четыре года как-то уже все забыли, а в бумажном виде такого обещания никто не давал.

У неё происходит что-то странное. На этой неделе было собрание высшего руководства госпиталя, где обсуждался Маринин проект. Саму Марину "забыли" пригласить, она случайно узнала дату и пришла без приглашения.

Другой прикол. В госпитале регулярно рассылается бюллетень о всех текущих проектах. Марина написала доклад на 10 страниц. Начальница говорит: "Слишком много, у других проектов по 2-3 страницы. Складывается такое впечатление, как будто кроме тебя никто не работает, я не могу этого допустить. Не подставляй коллектив, сократи".

Вспомнилась "Теория относительности":

- ...оглупляем его и делаем коллектив умным.
- Относительно чего?
- Домов, конечно.

Подумав, мы решили, что все же Марине надо представить и полную, и сокращенную версию. Только всё это зря: в бюллетене всё равно почему-то напечатали старый, короткий черновик доклада. Зато у всех остальных проектов доклады были по 10 страниц.

Совещание прошло неплохо. Представитель родительского комитета написал, что это "пожалуй, лучший проект года". Бывший злейший враг (когда-то обещал добиться, чтобы Марину выгнали) вдруг сменил гнев на милость, и тоже хвалил. Зато главврач, которого он недавно подсидел, вдруг сказал: "Да, отличный проект, только зачем такому хорошему проекту руководитель?"

Консерваторы грозятся на треть сократить финансирование, и идет какая-то непонятная подковерная борьба. Марина в ней просто пешка. Возможно, что у главврача ничего личного к ней нет, просто хочет таким способом сделать гадость своему приемнику... В общем, ждем. В принципе, Марина психологически готова к тому, что придется искать новую работу...

Напоследок - очередная страшилка. Маринина коллега отвезла отца в госпиталь. Его оса укусила в горло. Горло распухло, он не мог глотать. Через некоторое время выясняется, что отца ничем не лечат. Потому что умный врач прописал парацетамол в таблетках.

- Медсестра, почему Вы ничего не делаете?
- А он не пьет.
- Ну, Вы же понимаете, что он не может пить таблетки.
- Да, ну а шо? Доктор сказал "таблетки", значит, таблетки.

Как в том анекдоте: доктор сказал "в морг", значит, в морг. Дело было в Guy's - это престижный госпиталь в центре Лондона, где любят рожать новые русские жены.

Эдинбург

Перед первомайскими выходными погода испортилась. Мы уже настроились сидеть дома. В субботу утром пошел в магазин. Прихожу домой. Час дня, Марина только проснулась и сразу села за компьютер:

- Я тут нашла недорогой Эдинбург на два дня.
- А когда?
- Э... вылет через шесть часов.
- Приехать за два часа до отлета, час на дорогу... Надо собраться, а мы ещё даже не завтракали... Может, полетим в воскресенье в 8 утра?

Пока мы заказывали билет на Expedia, у них закончились места на рейс. Пришлось купить на British Airways, уже подороже. Обратный билет стоил в два с половиной раза дороже билета "туда". Это потому, что все хотят вернуться на работу в последний вечер длинных выходных. Зато всего за три (!) лишних фунта мы купили в BA ночь в гостинице. Royal Terrace, очень приличная гостиница возле обсерватории, близко к центру и автобусной станции. Мы уже знаем, что когда едешь куда-то всего на два-три дня, то лучше раскошелиться на гостиницу в центре - жалко тратить ценное время на дорогу.

Много раз мы ездили на такси в Гэтвик, но этот раз был необычный. Во-первых, таксист был не афганец. Более того, англичанин. Во-вторых, почти не ехали по моторвею. Я так понял, что ночью там бесплатный проезд, а утром в каком-то месте надо немного платить. Поэтому он вез нас по узким деревенским дорогам, но скорость была ненамного ниже. Удивляюсь, как он не боиться превышать на 15-20 миль, ведь везде понатыканы камеры?

- Куда летите? В какое-то хорошее место?
- В Эдинбург.
- Мда... значит, в нехорошое.
- Понимаете, мы тут почти три года, но Шотландии никогда не были.
- Вы ничего не потеряли. Я тут живу всю жизнь, был в Шотландии один раз, и это худшее воспоминание в моей жизни.

Не перестаю удивляться, как же они друг друга ненавидят (хотя стараются не говорить в глаза). Марину потом коллеги спрашивали, как прошли выходные:

- В Эдинбурге была.
- Ты что, ездила в этот грязный, ужасный город?
- Почему грязный? Мне очень понравилось, гораздо чище и приятнее Лондона.
- Ну, а люди? Эти шотландцы - они же не моются, они идиоты, жадные и пр.

Несмотря на то, что дешевые билеты как бы закончились, в самолете было много пустых мест.

Даже из иллюминатора видно, что Шотландия - не Англия. Необычные горы, много ветряков. Мы впервые увидели совершенно круглую радугу. Она была под нами, в облаках. А на ней сверху тень самолета. Потрясающе!

Как-то уже вошло в привычку, что полет на самолете - это значит, что едем за границу. Никогда ещё не летали на британских внутренних рейсах. Поэтому с некоторой опаской подошли к автобусной кассе: а точно ли они говорит по-английски? Да, таки говорят. Сила шотландского акцента у разных людей разная. За два дня проблем с пониманием почти не было, редко кого-то приходилось переспрашивать. А вот англичане говорят, что шотландцев не понимают.

От аэропорта до центра полчаса на автобусе. Автобусные платформы по-шотландски называются stance. По-английски вроде bay. Билет недорогой, автобусы ходят часто. Если покупать билет прямо у водителя, то он не даст сдачи. На автобусной остановке и на вокзале есть камеры хранения. На вокзале они хуже, потому что все вещи досматривают, и иногда бывает очередь.

Собираются года через два-три сделать длинную трамвайную линию от аэропорта до морского порта. В центре уже рельсы, а на них стоит настоящий будущий трамвай, чтобы местные к нему привыкали. Также были планы построить железнодорожную станцию и проложить туннель прямо под взлетной полосой. Его даже начали рыть, но потом забросили из-за недостатка финансирования.

В автобусе, который ходит в аэропорт, есть бесплатный Wi-Fi. И во многих кафе тоже (мне кажется, в Лондоне это менее распространено).

Сразу бросается в глаза, что земля не такая дорогая, как в Лондоне. Широкие дороги, и даже на кладбищах в центре города ещё полным-полно пустого места для заслуженных горожан. То ли дело в Лондоне - дома налеплены друг на друга, а в маленьких парках в центре гуляющие иногда буквально спотыкаются об надгробия.

Центр Эдинбурга удивительно правильной формы. Говорят, изначально там тоже все жили друг у друга на головах, но в какой-то момент трущобы посносили нафиг и спланировали так, что в одном квартале жили только ремесленники, в другом - только банкиры и пр. Несмотря на то, что много однотипных старых зданий, не возникает такой тоски, как в советских спальных районах.

Когда выезжаешь из центра, то дорога становится хуже. Явных ям нет, но много заплаток.

В аэропорту, на авто- и железнодорожном вокзале можно набрать кучу бесплатных брошюр для туристов. Но на самом деле даже без карты ориентироваться довольно легко, поскольку центр стоит на холмах. Мы встретили много русских туристов. В Лондоне, пожалуй, их видишь реже.

Центр был частично перекрыт, поскольку там проходил какой-то благотворительный забег. Я обратил внимание, что зрители апплодировали всем бегунам, даже очень отстающим, которые уже не бежали, а шли.

Главная достопримечательность - это, конечно, замок. Минут 15 пришлось постоять в очереди за билетами. Я обратил внимание, что кассиры беседуют со всеми клиентами: "Откуда Вы? Как Вам тут нравится? Куда уже ходили?" Интересно, это у них такая установка, или просто нравится общаться?

Вечером мы взяли штатив и поднялись на гору к обсерватории. Оттуда ночной город как на ладони.

Гостиница была вроде и шикарная, но с некоторыми проблемами. Например, не работало отопление, поэтому в номере стоял электрический радиатор. Потолки высокие, протопить тяжело, так что было прохладно. В ванной почему-то мокрый пол. Марина заподозрила, что я разлил воду, но оказалось, что слегка течет труба. Пришлось поставить на ночь ведерко. Наверное, они бы починили, но мы фактически только переночевали и рано утром уже съехали, так что жаловаться не было времени. Марина хотела потребовать скидку за моральный ущерб, но потом вспомнила, что за гостиницу мы заплатили всего-то три фунта.

Зато у них прям в гостинице был бассейн, сауна, баня и спортзал. Пришлось вечером туда идти, хотя мы и сильно устали от прогулок по гористой местности. Беговые тренажеры были шикарные, они позволяли двигать ногами в нескольких плоскостях, как при реальном беге. В каждом тренажере свой телевизор и выход для наушников.

В общем, одного дня уже хватило, чтобы получить массу впечатлений. На следующее утро не спеша пошли в Ботанический сад. Приятный, но гораздо скромнее Kew. Зато вход бесплатный. Всё обошли, но так и не нашли кувшинок, которые, собственно, Марина и хотела посмотреть. Кувшинки оказались в платной части сада (вход 4 фунта, а в Kew, если не ошибаюсь, 15). Красиво.

Сходили в шотландский парламент. Он находится на окраине центральной части города, возле симпатичной горы. Вход в парламент бесплатный, потому что они "открыты для общества". Нам внутри очень понравилось. Заходили в главный зал, правда, в ложу для прессы и посетителей. Та часть, где непосредственно сидят депутаты, отделена маленьким заборчиком. В принципе, при желании его легко перепрыгнуть. Экскурсии ходят и внутрь, но, наверное, надо заранее договариваться. Само здание парламента необычное: вроде бы и очень современное, но обшитое деревом, под старину. Надписи на английском и на туземном языках. "Средний" кофе в парламентской Costa выглядит как большой в обычной.

Рядом с парламентом - ещё одна резиденция Королевы. Туда не пошли - уже и времени было маловато, да и по 15 фунтов за вход жалко. Тем более, что в одной резиденции (в Виндзоре) мы уже были. Поснимали через забор.

В первый день мы видели сломаный двухэтажный автобус, вокруг которого суетились ремонтники. Очевидно, у них ничего не вышло - на второй день этот автобус увозили на тягаче. Оказывается, существуют специальные тягачи именно для двухэтажных автобусов.

Ни в Гэтвике, ни в Эдинбурге у нас ни разу не проверяли документы! Только билет. Хотя пассажиры Easyject показывали паспорта. Наверное, считается, что в British Airways летают более респектабельные господа, можно верить на слово.

Мы не смогли зарезервировать места вместе. Но что интересно - на схеме самолета было видно, что много пустых мест остается посередине трехместных рядов. Почему так? По идее, на выходных многие летают вдвоем, поэтому пустые места должны оставаться возле прохода... Марина нашла простое объяснение: наверное, некоторые пары резервируют места возле окна и прохода, а среднее оставляют пустым в надежде, что самолет будет загружен не полностью. В этом случае весь ряд будет в твоем распоряжении, не подсадят постороннего, и иожно будет даже спать полулежа.

С удивлением я заметил, что перегордки на багажных полках сделаны из дерева. Более того, это дерево покрыто толстым слоем чёрной плесени.

Возвращаться в Лондон было неприятно. Всё те негативные впечатления, которые у меня были три года назад (грязь, сутолока, загазованность), всплыли снова. Серьезно задумался, не было ли ошибкой поселиться в Лондоне. В принципе, мы изначально планировали осмотреться в Англии и переезжать куда-то в более тихие и живописные места... да потом уже не сдвинулись - нашли работу, накупили барахла, а последнее время ещё и обзавелись множеством друзей...

Единственное, что не понравилось в Шотландии - там ещё холоднее, чем у нас.