Представьте, если бы на флешке можно было хранить тысячи фильмов в разрешении 4K. И вообще долой флешки, жесткие диски, SSD и прочие объемные накопители. Вашему iPhone вполне хватит десятка мегабайтов для хранения всего контента! Похоже на бред или в лучшем случае фантастику. Однако один голландский инженер вроде бы придумал революционную методику сжатия данных. Или просто обманул всех? Разбираемся в запутанной, загадочной и очень интересной истории Яна Слоота.
На пути из телемастеров в квадриллионерыЯн Слоот родился в 1945 году в небольшом нидерландском городке Гронинген. В семье было трое детей, Ян был младшим из них. Вскоре после рождения сына из семьи ушел отец, директор школы.
Будущий гений (или мошенник) рос домашним ребенком. Он не очень любил играть с другими детьми, предпочитая сидеть дома на чердаке и возиться с транзисторами. После школы был техникум, потом армия. Слоот обзавелся семьей, осел в Утрехте и даже устроился на работу в Philips. В то время это была компания мечты, которая гремела во всем мире так же, как сейчас Apple и Samsung.
Впрочем, проработал он там недолго. Оставив Philips через два года, Ян сначала занялся продажами в магазине аудио- и видеотехники, а затем и вовсе ушел на вольные хлеба, открыв фирму по ремонту телевизоров.
Где-то в начале 1980-х мужчине пришла в голову идея создать общенациональную базу данных для мастеров по ремонту телевизоров. Каждый телемастер мог бы с помощью компьютера обратиться к опыту коллег или освежить в памяти результаты своей работы. Согласно легенде, как раз во время создания такой программы Слоот осознал, что ему потребуется использовать гигантские по тем временам объемы памяти. Тогда-то инженер якобы и приступил к разработке революционной системы хранения данных.
И вот настал 1995 год. Год, когда Ян Ромке Слоот перестал быть просто Яном Ромке Слоотом, а стал фигурой, о которой заговорили во всем мире. Голландец заявил, что спустя почти 15 лет тяжелых исследований и разработок он таки создал самую революционную в мире систему хранения данных. По словам изобретателя, созданный им метод позволяет уменьшать файлы в два миллиона раз без потери качества!
Забавно, что никакой конкретики о методике Ян не предоставил. Разве что неоднократно подчеркивал: речь не о сжатии в привычном понимании. Почему Слоот скрывал любые подробности об изобретении? Сам он объяснял это так: кругом враги, готовые в любой момент похитить технологию. По словам людей, знавших инженера, он был человеком очень скрытным и параноидальным. Мужчина не доверял даже собственной жене, которая знать ничего не знала ни о каком кодировании, сжатии или чем-то подобном.
Мир никогда не будет прежним!Слооту удалось главное — он привлек к себе внимание. В обещания так хотелось верить. Все фильмы мира можно будет уместить на одном компакт-диске! Для быстрого интернета не нужны никакие оптоволоконные кабели! Технические возможности компьютеров станут практически безграничными! Уйдут десятки, если не сотни факторов, сдерживающих развитие технологий! Мир никогда не будет прежним! И все благодаря SDCS — Sloot Digital Coding System!
То было время технологических чудес. Совсем недавно был представлен DVD, анонсированы цифровые MP3-плееры, вот-вот должны появиться плазменные телевизоры, еще молодой Билл Гейтс с гордостью носит звание гения-миллиардера, а Стив Джобс готовится вернуть к жизни Apple. Казалось, что прорывные технологии только и ждут подходящего момента, чтобы встряхнуть этот заскорузлый мир. Люди были готовы вкладываться во что угодно, не слушая специалистов. Потому что всем так хотелось верить в чудо!
До того как объявить о своем изобретении, Ян уже пережил парочку банкротств. Но к середине 1990-х мужчина решил перестраховаться. Теперь не он вкладывался в бизнес — теперь он привлекал чужие деньги. Сначала Слоот уговорил вложиться в перспективное дело знакомых и соседей. Потом о нем написали в прессе. Вскоре о SDCS узнала вся страна, а потом и мир.
Во второй половине 1990-х Ян активно «окучивал» крупных инвесторов. Он заглянул в один из крупнейших финансовых конгломератов мира ABN AMRO, написал письма в Кремниевую долину и пообщался со многими знаменитостями. Те, к слову, были уверены, что еще немного и голландец станет самым богатым человеком в истории.
Судьбоносная встреча состоялась 4 марта 1999 года в штаб-квартире Philips. К этому времени приближенные к особе изобретателя инвесторы решили, что разработку всенепременно надо продать какому-нибудь технологичному гиганту. В качестве конечной суммы рассматривался миллиард долларов. Среди потенциальных покупателей виделись Oracle, Microsoft и Sony. Но на вершине списка значилась Philips — одна из самых перспективных корпораций того времени.
На встрече помимо Слоота и группки инвесторов был Роэл Пипер, который в те времена ходил чуть ли не в чине национального героя Нидерландов. Успешный IT-бизнесмен в свои 40 с небольшим лет построил блестящую карьеру в США, участвовал в руководстве Compaq и недавно в качестве члена правления и технического директора Philips вернулся на родину.
Чрезвычайно обаятельный и активный Пипер буквально излучал успех и не сходил с первых полос местных журналов. Мало кто сомневался, что в ближайшее время Роэл возглавит Philips и приведет корпорацию как минимум к мировому IT-господству.
Итак, 4 марта 1999 года. Роэл Пипер с нетерпением ждет Яна Слоота. Представитель Philips порядком наслышан о 54-летнем гении и хочет своими глазами увидеть чудо, к которому теперь может быть причастен и он. Вот в комнату заходит Слоот. В дрожащих от волнения руках у него черная коробочка размером с пять пачек сигарет. Ян подключает к ней 24-дюймовый монитор, достает из широких штанин чип объемом 64 килобайта и также соединяет его с коробочкой. После начинает проигрывать одновременно 16 полнометражных фильмов! По словам Слоота, все фильмы записаны на этот самый 64-килобайтный чип. Более того, по его словам, при необходимости проигрывать можно и 64 фильма.
Голландский Билл Гейтс и Стив ДжобсОфис Philips гудит. Инженеры компании восприняли демонстрацию скептически. Они заподозрили, что в черной коробке спрятан жесткий диск. Специалисты попросили Слоота показать установку и подробно рассказать о ней. По воспоминаниям очевидцев Ян буквально рассвирепел и заявил, что не собирается никому ничего рассказывать, пока у него не купят права на SDCS. А чтобы продемонстрировать возможности изобретения, он якобы показал мгновенную перемотку 16 фильмов на разные отрезки времени. «Это настолько просто, что вы должны были догадаться лишь глядя на это», — добавил Слоот.
В отличие от инженеров, Роэл Пипер был необычайно воодушевлен презентацией. В течение марта он еще несколько раз встречался с Яном, все больше убеждаясь, что имеет дело с невероятным технологическим прорывом. Специалисты Philips, однако, стояли на своем. По их словам, рекламируемая Слоотом технология не может существовать физически. В итоге президент компании, несмотря на уговоры Пипера, отказался от сделки.
Стало ясно, что продать права на технологию не выйдет. Тогда Ян вместе с акционерами создал собственную компанию — Dipro. А ее генеральным директором стал… Роэл Пипер! Перспективный голландский Билл Гейтс и Стив Джобс в одном лице бросил престижную должность в Philips и посвятил себя продвижению SDCS.
Пипер был настолько уверен в изобретении, что постоянно говорил о неминуемом технологическом лидерстве. Название Dipro, по его мнению, не соответствовало мировым амбициям компании, поэтому ее переименовали в Fifth Force. Новое название восходит к мифической «пятой силе природы» — якобы некоему неизученному фундаментальному взаимодействию частиц наравне с четырьмя известными (сильное, слабое, электромагнитное и гравитационное).
Не стоит думать, будто Роэл был этаким витающим в облаках IT-романтиком. Он проявил себя в качестве прагматичного парня, который поставил цель в течение двух лет вывести Fifth Force на мировой фондовый рынок и открыть представительства в Европе, Америке и Азии. По итогам 1999 года капитализация компании должна была составить $500 миллионов, а через пять лет — $24 миллиарда.
Сила, энергия, напор и уверенность Пипера привлекли в Fifth Force десятки крутых менеджеров. Здесь среди прочих оказалось несколько представителей Philips и даже основатель крупной инвестиционной компании Nedamco. Роэл также организовал масштабный тур в Кремниевую долину, созванивался в Биллом Гейтсом и активно переписывался с Sony.
Слоот в этих активностях не участвовал. Телемастер страдал от больного сердца, маялся длительными перелетами и вообще все больше капризничал. Долгое время он даже никому не разрешал прикасаться к коробочке с фильмами. Но позже все-таки отдал ее Пиперу, ведь тому надо было что-то показывать потенциальным инвесторам. Однако вскоре Ян решил, что его коробочку пытались взломать, а потому снова пришел в ярость и теперь уже наотрез отказался давать ее кому-либо.
И все же в начале лета 1999 года будущее Fifth Force выглядело чрезвычайно успешным. Технологией SDCS заинтересовались богатейшие люди планеты, которые с легкостью инвестировали в проект десятки миллионов долларов. А 10 июля 1999 года наконец-то была достигнута ключевая договоренность о продаже прав на использование разработки. На следующий день мир должен был измениться раз и навсегда, а Ян Ромке Слоот готовился к тому, чтобы проснуться самым богатым человеком в известной части Вселенной.
Загадочная смерть— Алло, мистер Пипер? У отца сердечный приступ…
Утром 11 июля Роэлу позвонил Бен, старший сын Слоота. Несостоявшийся миллиардер (а может, и триллиардер) и возможный гений умер.
Думаете, Роэл Пипер или другие акционеры расстроились? Ни капли! Они даже были рады избавиться от вечно недовольного изобретателя-параноика, который слишком много говорил о своей гениальности. Вообще-то Яна не очень-то любили даже собственные дети. Он никому из них не доверял, всех и каждого подозревал в намерениях украсть его технологию. Слоот слишком любил выставлять себя непризнанным гением, однако никому не мог и не хотел объяснять суть своего изобретения. В ответ на любые вопросы он только злился, а в лучшем случае обходился туманными формулировками.
Пипер не сомневался, что беспокоиться не о чем. Загадочная коробочка с чипом наверняка находится где-то в доме телемастера. Но конец истории выдался уж совсем загадочным и детективным.
На следующий день после похорон у дома Слоота собралась целая толпа. Это были инвесторы, акционеры, даже внезапно объявившиеся и давно забытые родственники изобретателя. Его семья, однако, никого в дом не пустила. Роэл на всякий случай нанял охрану, которая стерегла жилище днем и ночью.
Судя по всему, на протяжении всех этих напряженных дней члены семьи умершего инженера пытались найти компилятор — ключевую часть технологии Яна. Его старшая дочь под покровом ночи вынесла из дома две коробки, погрузила их в автомобиль и уехала прочь. Позднее она рассказала, что целый день обыскивала кабинет отца, но нашла лишь барахло, не имеющее ничего общего с SDCS.
В конце концов, спустя месяц, который ушел на юридические формальности, топ-менеджеры Fifth Force получили возможность изъять из дома Слоота все материалы, касающиеся его разработок. Но ничего полезного они так и не нашли. Разве что какой-то муляж с жестким диском. Не помогла ни полиция, ни армия частных детективов, ни призывы к общественности. Во время поисков распотрошили компьютер, телефон и даже электронный календарь Яна. Проверили его перемещения за последний год. Вскрыли все принадлежащие ему сейфы. Ничего. Технология, способная изменить мир, если и была, то сгинула.
Тем временем акционеры Fifth Force разругались в пух и прах. Что делать? Эксгумировать Слоота (вдруг он буквально захватил изобретение с собой в могилу)? Продолжать искать? Плюнуть на потери и прикрыть лавочку? Отказываться от такого близкого и вкусного сладкого пирога не хотелось. Компания просуществовала еще около года, но в 2000-м окончательно развалилась.
Гений или мошенник?Так кто же все-таки Ян Слоот? Что мир потерял с его смертью? Очередную человеческую жизнь или нового Да Винчи?
Сторонники теории заговоров уверены, что транснациональные корпорации и мировое правительство лишили нас гигантского технологического прорыва, убив гениального инженера. Доказательства? Смотрите. Разве не странно, что Слоот умер за день до заключения судьбоносной сделки? Разве не подтверждает наличие изобретения целый патент на технологию компрессии фильма до 8 килобайт? Разве не показывал Ян свою технологию в действии? Разве не видели ее сотни людей, инвестировавших в Fifth Force десятки миллионов долларов?
Да, все так. Но на каждый из этих вопросов есть свой ответ с горькой правдой. Действительно, часто при упоминании Слоота указывают на странное стечение обстоятельств со смертью за день до сделки. Вот только никто при этом не любит вспоминать, что права на технологию должны были продать не Philips, не Microsoft, не Sony и даже не Apple. Права отходили… самой же Fifth Force! Голландец оформил сделку по продаже технологии той же компании, которая занималась продвижением SDCS.
Патент? Ян и правда получил его! Вот только в нем и слова нет о сжатии фильмов в миллионы раз. В документе есть лишь указание на компрессию в восемь раз. Здорово, но отнюдь не ново и, конечно же, не революционно.
Слоот демонстрировал нечто, что удивляло окружающих, но только не технических специалистов. На вопросы экспертов голландец всегда реагировал нервно и зло. Впечатлялись же люди хоть и богатые, но далекие от понимания технологий.
И все же есть ли хотя бы теоретическая возможность существования SDCS? Ведь Ян утверждал, что технология настолько проста, что лежит на поверхности. Может, все дело в каких-нибудь волшебно-спасительных струнах? После смерти голландца Роэл Пипер провел большую работу, общаясь с десятками людей, знакомых с изобретателем и хоть как-то осведомленных о его делах. После того как информацию собрали по крупицам, прояснился базовый принцип Слоота.
Телемастер был уверен, что каждый фильм состоит из ограниченного количества цветов и звуков, сочетающихся в определенное мгновение времени в разных пропорциях. Грубо говоря, есть некая база данных (для всех в мире фильмов достаточно 370 мегабайт) из цветов и звуков. Для того чтобы посмотреть определенное кино, нужен цифровой ключ — уникальный код объемом около одного килобайта, в котором записана последовательность и пропорции вывода цветов и звуков.
Представьте, что у вас дома подключена к телевизору флешка, на которой хранятся все мыслимые и возможные звуки, а также стандартная цветовая палитра. Фактически все прошлые, настоящие и будущие фильмы. Чтобы посмотреть новую серию «Сватов», нужен лишь код, который расскажет системе, каким образом нужно реконструировать на экране картинку и звук. Фантастика! Гениально!
Увы, ученые неумолимы — это невозможно ни физически, ни математически. Проблема не в хранилище цветов и звуков, которое теоретически действительно может существовать. Проблема в однокилобайтном ключе, никак не способном уместить в себе информацию даже о секундной картинке с определенным набором цветов и звуков. Килобайтов для целого фильма потребуется больше, чем атомов во Вселенной.
Наверняка Слоот верил в то, что спасает мир. У чудака с манией величия не было образования в области, в которой он чувствовал себя экспертом. Он потратил десятилетия на решение проблемы, нерешаемость которой ему мог доказать любой математик. Однако на все претензии мужчина реагировал лишь обидой.
Наверняка Ян не сомневался в том, что одного килобайта хватит для воспроизведения любого фильма. Вероятно, ему не хватило знаний и проницательности, чтобы осознать бесплодность своих разработок. Скорее всего, он использовал какие-то хитрости при демонстрации коробочки с чипом, к которой никого не подпускал. При этом Слоот не ощущал себя шарлатаном, будучи уверенным, что достаточное количество денег позволит решить все технические проблемы и заставит коробочку работать как надо. Тем не менее обмануть физику опять не вышло.
Взято отсюда: Оригинальная статья
Я так понимаю принцип похож на радужные таблицы по хэшам, только для экономии не процессора а диска. Но все же думаю было бы все так просто, уже давно реализовали бы. Скорее очередной "вечный двигатель"
И тут вообще не важно, сжатие там или генерация как-то. Один фиг, на вход подается сколько-то мб данных, на выход фильм. Возможных фильмов много, возможных входных данных мало (размер-то ограничен).
Вот и с этим разбиением на универсальные куски та же проблема: Если их мало, то фиг из них фильм составишь, если их достаточно много, то короче будет сами куски записывать, чем их номера в этой "базе данных".
Люди знакомые с дискретной математикой и понимающие принципы хотя бы кода Хаффмана быстро скажут тебе (после подсчётов на салфетке), на какую степень сжатия ты можешь рассчитывать, оценив число разных цветов и звуков, и объём выходного поля.
Сушествующие алгоритмы сжатия видеопотока в общем-то исчерпали арсенал фокусов. Да, мы можем сжимать сильнее, но возрастёт число операций на пиксель, и постепенно мы упрёмся в железный потолок, выше которого кадр невозможно расшифровать быстрее, чем его нужно показать. Как ни старайся, но физику с математикой обмануть невозможно, Эйнштейн пытался, не получилось.
Для обычных людей можно использовать либо тот же принцип, либо задействовать распределённые вычисления - фильм откроется не за день, а, скажем, за 10 минут.
Коллекционерам и библиотекам такой формат и вовсе никак не помешает.
На практике получаем незначительный выигрыш места (в лучшем случае дополнительные 20%), который компенсируются необходимостью немалого даже по меркам 2019 буферного пространства (1080р = 10ГБ/минуту, 2 часа = 1.2ТБ, умножь на два если фильм в 3д, ещё на 2 если 60фпс, умножь ещё на 4 для UltraHD 4K, и я промолчу про всякие моднячие 10bit), и нет, это не может быть обычный винчестер, ибо там до множителей под 200 мегабайт в секунду, минимум RAID, лучше высокоскоростной SSD.
Это я промолчу о том, что проблема хранения больших read-only объёмов давно решена - IBM TS4500 хранит 350 петабайт (350 000 терабайт) при стоимости в $35500 (сравнимо с хорошим автомобилем), что решит проблему хранения раз и навсегда, ибо это почти весь контент Бухты. Чтобы забить этот объём 100мбит тырнетом в полную дулю 24/7 тебе потребуется 12 лет.
Можно пережимать в какой-нибудь традиционный формат. 1.2ТБ прогонятся через память, а на диске будет, скажем, 10ГБ.
Иначе теряется либо качество, либо объём (чаще всего оба), и в любом случае теряется огромный шмат производительности, потому что компрессия на порядки затратнее декомпрессии. У меня мощная машина, при этом даже БЫСТРАЯ перепаковка во "вчерашний" h264 одним пассом для 1080p60 даже на 50мбит/с может идти буквально 1 секунда в секунду, при 100% утилизации всех восьми потоков с четырёх ядер.
Для долговременного хранения сверхсжатых видео и их восстановления все эти проблемы можно как-то решить или отодвинуть на второй план. Главное - найти
философский каменьалгоритм Бабушкина.Дело в том, что Бабушкин ещё не родился, когда тот телемастер изобрёл свой алгоритм.
Один программист спрашивает у другого:
- Что пишешь?
- Архиватор, который позволяет сжать любой файл до 1 байта!!!
- Круто... и как успехи?
- Архиватор я уже написал, теперь работаю над разархиватором...
Заранее предсказываю что с результата ты проблюёшься, но чего не сделаешь ради науки...
Причём каждый раз разный.
Уйдёт в небытие понятие "спойлер".
А какие дискуссии будут между посмотревшими! Ух!
На самом деле, подобным рентвшным текстом реально можно кого-то развести. Дело в том, мало кто знает, как именно происходит сжатие данных без потерь. (Тем, кто не знает, рекомендую ознакомиться хотя бы с алгоритмом Шеннона-Фано).
Суть в том, что у сжатия данных есть четкий предел---объем данных может уменьшаться пропорционально увеличению энтропии в нем. При достижении уровня энтропии сравнимой с энтропией данных от источника случайных чисел дальнейшее сжатие теоретически невозможно.
В 8КБ даже ч/б фильм не уместится.
8 * 1024 * 8 = 65536 бит(1 бит это ноль или единица)
65536 / 3600 (кол-во секунд в часе) = 18,2
18 бит в секунду ни на что не хватит просто физически.
В принципе, если добавить в сценарий подробностей и слепок стиля авторов, то можно спокойно генерироать видео с 1кбит/с по подробному словесному описанию. Этого хватит для среднестатистического человека, который не привык читать надписи на коробках во время сцены в супермаркете.
Хм... и звучит прикольно
И сердечный приступ.
Представьте, что у вас дома подключена к телевизору флешка, на которой хранятся все мыслимые и возможные звуки, а также стандартная цветовая палитра. Фактически все прошлые, настоящие и будущие фильмы. Чтобы посмотреть новую серию «Сватов», нужен лишь код, который расскажет системе, каким образом нужно реконструировать на экране картинку и звук. Фантастика! Гениально!
Увы, ученые неумолимы — это невозможно ни физически, ни математически. Проблема не в хранилище цветов и звуков, которое теоретически действительно может существовать. Проблема в однокилобайтном ключе, никак не способном уместить в себе информацию даже о секундной картинке с определенным набором цветов и звуков. Килобайтов для целого фильма потребуется больше, чем атомов во Вселенной.
Другое дело что получить на входе кадры, сжать их в 18 бит в секунду, и высрать на выходе тоже кадры - импоссибуру.
1. Изюражение бъётся на кучу кусков (не обязательно равные по размерам).
2. Создаётся база данных этих фрагментов.
3. Выявляются соответсвия между фразментами с учётом аффинных преобразований.
4. Пункты 1-3 повторяются до полного удовлетворения.
5. На выход идёт база фрагментов и набор инструкций по преобразованиям для восстановления изображения.
Т.е. мы получаем большой набор инструкций, что вот этот вот кусочек изображения это тот же, что вон тот, только тот надо так-то сбвинуть, на такой-то угол повернуть и вот так-то равномерно или неравномерно растянуть.
7. technical FAQ
----------------
In general, if you have any technical questions concerning .kkrieger, either refer to our
web site or contact us via email. However past experience shows that there are some rumours
and misunderstandings about our work that are very hard to correct, so we'll state the truth
here, in written form, for all the world to see :)
- We do .not. have some kind of magical data compression machine that is able to squeeze
hundreds of megabytes of mesh/texture and sound data into 96k. We merely store the
individual steps employed by the artists to produce their textures and meshes, in a very
compact way. This allows us to get .much. higher data density than is achievable with
normal data compression techniques, at some expense in artistic freedom and loading times.
- .kkrieger is not written in 100% assembler/machine language. Not even nearly. Like the
vast majority of game projects being developed today, .kkrieger was mostly written in
C++, with some tiny bits of assembler where it is actually advantageous (notably, there
are a lot of MMX optimisations in the texture generator).
Поржал.Билл Гейтс,который в школе ни физику ни информатику не учил.
Вот это - фигня чистой воды. Восприятие человека ограничено. Верхней оценкой можно считать несжатое 8K видео 1000 кадров в секунду с 64-битным цветом, которое занимает 1ПБ в час. В этом случае цвета сохранены для каждого пикселя! А алгоритм того шарлатана предполагает сохранение цветов для каких-то условных участков изображения, которые меньше пикселя быть не могут.
Перельмана с его описанием изобретателя "вечного двигателя" напомнило. Тот тоже обещал что всё заработает при должном финансировании:
"— И трение в расчете было... Что трение? Не от трения это, а так... Иной раз словно порадует, а потом вдруг... закапризничает, заупрямится — и шабаш. Кабы колесо из настоящего материалу было сделано, а то так, обрезки кой-какие"