JL's blog » ayatku http://john.5070.info :-) Sun, 06 Dec 2009 17:11:56 +0000 http://wordpress.org/?v=2.8 en hourly 1 … И получился GFS :) http://john.5070.info/2009/10/%e2%80%a6-%d0%b8-%d0%bf%d0%be%d0%bb%d1%83%d1%87%d0%b8%d0%bb%d1%81%d1%8f-gfs/ http://john.5070.info/2009/10/%e2%80%a6-%d0%b8-%d0%bf%d0%be%d0%bb%d1%83%d1%87%d0%b8%d0%bb%d1%81%d1%8f-gfs/#comments Sat, 24 Oct 2009 06:17:27 +0000 John Lepikhin http://john.5070.info/?p=208 Доделал «сырую» реализацию тех самых функторов из предыдущего поста. Умеем хранить элементы размером до 2^{62} = 4611686018427387904 = 4 эксабайт. Максимальное количество элементов точно не определено, но примерно равно 2^{200} и изменением буквально десятка байт кода может быть увеличена до примерно 2^{450}. Правда, при этом увеличивается фактический размер ключей и чуть-чуть падает скорость.

Реализованы функторы: Sized (заодно храним фактический размер записи), Splitted (правильнее было бы назвать Striped), Distributed (записи раскидываются по нескольким нижележащим хранилищам), COW (обеспечение почти полной атомарности для всяких сложных хранилищ, типа Splitted, за счёт copy-on-write).

Каким-то сумасшедшим performance пока похвастаться не могу (около 12000 килобайтных выборок в секунду, в случае использования хранилища FileSystem), реализация всё-таки ещё сырая.

Коллега на работе сказанул: «Google BigTable что ли сделал?». Я подумал, и решил, что нет, это Google FS :)

]]> http://john.5070.info/2009/10/%e2%80%a6-%d0%b8-%d0%bf%d0%be%d0%bb%d1%83%d1%87%d0%b8%d0%bb%d1%81%d1%8f-gfs/feed/ 0