Средства и методы разработки

или таблица получается одним правильно составленным запросом. Вообще SQL удобен тем, что его потом легко посмотреть в разных разрезах. Данные, когда есть неколько полей связанных с временной меткой, может быть проще писать в no-SQL базу, вроде BerkelyDB. И опять же можно просто в файл(ы), суть БД в том, что она позволяет потом быстро данные доставать по каким-то критериям. А если доставать не надо (считываются потом строго последовательно), то и БД не особо нужна. Если писать в файлы, то чтоб не нарываться на сложности с преобразованиями форматов и типов, проще текст в CSV или чём-то подобном. Потом из таких файлов вырезать колонки, например, можно простейшими средствами (awk, GNU textutils, sed, grep). Легко преобразовать в тот же SQL, легко импортировать в Excel. А оверхед от текста -- всего в два раза-то. Для простоты записывать изначально можно в файлы (бинарные, текстовые, какие угодно), потом в конце работы файлы уже трансформировать в SQL и загружать в базу. А из базы выгружать нужный срез. Отдельные вопрос, если формат записи может меняться во времени. Какие-то колонки пропадать, какие-то появляться. И нужно потом понимать в каком формате осуществлялась запись. Текстовы файл или CSV об этом предсталения не даёт. И тем более, если в файл пишутся разные сложные структуры (а не просто десяток разных колонок) и они ещё разные всё время. В таком случае нужна какая-то аннотация к данным. В SQL это решается раскладыванием по разным таблицам и связью ключём. В текст можно записать в JSON или XML, в бинарном виде -- ASN.1. Парсер в любом случае получается сложный.