допустим, у нас есть наборы похожих данных, которые записаны на диске (например, в файлы, хотя необязательно). тогда на диске будет много повторяющихся кусков. но ведь можно повторяющийся кусок хранить один раз, а "файл" будет представлять набор ссылок на такие куски. помимо уменьшения физически занятого места, ещё можно уменьшить число операций записи, что актуально для ССД.

(0) а рар жмёт не аналогичным образом ?

(0)Включи сжатие файлов,если у тебя виндовс.

у вынь сервера 2012 такая технология есть, ветка даже на мисте была

(3) гм… пропустил

(0)Ты хочешь превратить каждый файл в аналог ФАТ ? Заголовок файла дополнить еще одним служебным разделом ?
И что будет, если два файла будут содержать ссылку на один и тот же фрагмент данных ? Будешь организовывать разделение доступа на уровне ФС :))

(3)Не уверен, что речь идет об одном и том же. Интересно ветку бы поднять.

курим -Дедупликация данных

Бесплатная пробная версия Windows Server 2012   ветка

http://blogs.technet.com/b/vm/archive/2011/09/26/block_2d00_level-data-deduplication-and-vhd-support.aspx
Круто! Не знал.

(0) вывод: ты еще и подумать не успел, а тебе уже на тарелочке принесли

Чем больше кластер, тем менее эффективна такая система.

а если таким же способом организован дропбокс или гугль драйв, то вместо торрентов можно обмениваться хешами блоков в облаках!

(12)Ну не совсем просто.
При той же дедупликации используется быстрый алгоритм хэширования, который не обеспечивает 100% уникальности. Поэтому при совпадении хэшей данные сравняются побайтно, и только тогда ставиться ссылка вместо дубля.

(5)Файлов это вообще не касается, работает с блоками файловой системы.
И при чем тут разделение доступа? Чтение не проблема, а запись - просто пишется новый блок.