… И получился GFS :)

Доделал «сырую» реализацию тех самых функторов из предыдущего поста. Умеем хранить элементы размером до $2^{62} = 4611686018427387904 = 4$ эксабайт. Максимальное количество элементов точно не определено, но примерно равно $2^{200}$ и изменением буквально десятка байт кода может быть увеличена до примерно $2^{450}$ . Правда, при этом увеличивается фактический размер ключей и чуть-чуть падает скорость.

Реализованы функторы: Sized (заодно храним фактический размер записи), Splitted (правильнее было бы назвать Striped), Distributed (записи раскидываются по нескольким нижележащим хранилищам), COW (обеспечение почти полной атомарности для всяких сложных хранилищ, типа Splitted, за счёт copy-on-write).

Каким-то сумасшедшим performance пока похвастаться не могу (около 12000 килобайтных выборок в секунду, в случае использования хранилища FileSystem), реализация всё-таки ещё сырая.

Коллега на работе сказанул: «Google BigTable что ли сделал?». Я подумал, и решил, что нет, это Google FS :)

ayatku, Ocaml, программирование, функтор

This entry was posted on Saturday, October 24th, 2009 and is filed under программирование. You can follow any responses to this entry through RSS 2.0. You can skip to the end and leave a response. Pinging is currently not allowed.

JL's blog