То это, то. Просто я пока сконцентировался на некоем подмножестве этой биг даты - собственно задаче накопления данных и коллективного их использования. https://ru.wikiped …0%BD%D0%BD%D1%8B%D0%B5
Как видим, нет противоречий.
Прежде, чем строить биг дата для Газпрома, я хотел бы научиться строить ее в масштабах фирмы размером 10 человек. Берем в руки калькулятор и считаем.
* Мамка серверная с процом Xeon D сетевухой 10gbase-t (2 штуки) - 1k$
* DIMM 4 шт 32G Crucial 32GB LRDIMM DDR4 2133 CT32G4LFQ4213 - $3200
http://www.servers …R4_2133_CT32G4LFQ4213_
* INTEL DC S3500 300GB SATA SSD SSDSC2BB300G401 8 штук - $2400
http://www.servers …TA_SSD_SSDSC2BB300G401
* Netgear ProSafe Plus XS708E-100NES 8Ports Netgear ProSafe Plus XS708E-100NES 8 Ports RJ45 10GbE + one combo 10GbE Fiber SFP+ Port Unmanaged Switch - 1k$
http://www.servers …_XS708E-100NES_8Ports_
* LSI LSI00330 RAID Controller MegaRAID 9271-8i 8-port internal (2x SFF-8087) SAS2 6Gb/s 1GB Cache - $500
http://www.servers …I_MegaRAID_SAS_9271-8i
* UPS, корпуса, стойки, прочий гарбадж - 1k$
Итого имеем: 1000+ 3200+ 2400 + 1000 + 500 + 1000 = $9100, или по $1137.5 на каждого из 8 членов рабочей группы. Которые получат примерно 2T очень быстрого пространства долговременной памяти (с учетом RAID) со скоростью доступа 500к IOPS на 4kb блоках (см бенчмарки Xeon D). Причем эти 2Т будут не файлопомойкой, а, скажем, NoSQL базой данных, т.е. это будут структурированные данные.
Рабочее место каждого члена рабочей группы будет строится вокруг 10gbase-t сетевухи
Intel X540-T1 Network Adapter 10GbE 1xRJ45 Low-profile Converged Network Adapter - $365
http://www.servers …twork_Adapter_X540-T1_
Т.е. вообще говоря, они могут быть бездисковыми - и это точно не скажется на их быстродействии. Но могут иметь бутовый SSD на 120G.
И тогда эти 8 человек будут смогут (при наличия желания, компетенции и необходимого ПО) работать с ранее недостижимой эффективностью. При командной работе они будут иметь те же результаты, как команда 20-50 человек с "обычными писюками".
Ценой накладных расходов $1200 на человека (ок, 2k$ с учетом стоимости сетевухи "на каждого"), стоимость остальной части "кампука" не меняется, мы получаем совсем другое качество организации труда.
Evgeny_CD, Архитектор (11.03.2015 15:14, просмотров: 597) ответил SciFi на Мне как-то рассказали, что такое Big Data. Оказалось, что это не то, что вы нам тут впариваете как Big Data...