Большие данные (Big Data)

Создаём цифровые решения для больших данных, для хранения, обработки и аналитики. Опираемся на передовые технологии, поддерживаем партнёрство с ведущими вендорами решений для области больших данных.

Формат Кода разрабатывает и внедряет программные решения для кластеров хранения и обработки массивов данных. Заказчики – технологические стартапы, промышленные предприятия, ритейлеры, организации здравоохранения, госсектор. Услуги нашей компании в области больших данных востребованы во многих странах мира. В основе всех разрабатываемых решений и инструментов лежат передовые технологии и платформы от мировых вендоров.

Arenadata

Arenadata Unified Data Platform — универсальная платформа с открытым исходным кодом на базе технологического стека Hadoop. Обладает распределенной базой данных Arenadata DB, опирающейся на принципы массивно-параллельной обработки (MPP). Кластер Arenadata основан на проверенной базе данных Greenplum и может использоваться в качестве ядра корпоративного хранилища данных.

Технологии Hadoop являются неотъемлемой частью экосистемы Arenadata. Вся поддержка и непосредственно экспертиза доступны на русском языке.

Наша компания выполняет кастомизацию решений Arenadata. В 2019 году Формат Кода заключила партнерское соглашение с компанией. Arenadata обеспечивает полную техническую поддержку и несет ответственность за обновление платформы и базы данных с любыми изменениями в Hadoop.

MongoDB

Открытая NoSQL база данных крайне высокой производительности и бесконечной масштабируемости. Платформа поддерживает документоориентированную модель данных, динамическую схему, полноценное индексирование, сверхбыстрое обновление с замещением, встроенные функции сегментирования и автоматического восстановления после сбоя, а также GridFS и MapReduce.

MongoDB идеально подходит для реализации проектов, подразумевающих работу с очень большими объемами данных и/или высокие требования к масштабируемости, высокую производительность даже в тех случаях, когда информация слишком сложна и разнородна для моделирования с использованием реляционной схемы, или существует необходимость выполнения анализа в реальном времени.

Tarantool

Tarantool — база данных от разработчиков Mail.ru. Главное в Tarantool — это идеальное сочетание СУБД и кеша. Надежная классическая СУБД, представляющая собой систему хранения с ACID-транзакциями, серверным языком, таблицами, первичными/вторичными индексами, хранимыми процедурами и многими другими функциями. Кэш, напротив, не имеет ничего общего с СУБД, но молниеносен с точки зрения пропускной способности и задержки. Итак, это два разных мира, и они оба сходятся в одном продукте, которым является Tarantool.

Основная цель Tarantool – быть единственным источником правды для веб-приложений, когда им нужно работать с горячими данными. Tarantool широко применяется в российских Big Data проектах. Платформу используют соцсети, мобильные операторы, платёжные системы. Это одна из немногих СУБД, внесенная в реестр отечественного ПО. Клиентские библиотеки для Tarantool существуют на многих языках Python, Ruby, Perl, php, Java, C, C++, C#, Rust и Go.

Hadoop

Hadoop — основополагающая технология хранения и обработки больших данных, свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ. Мы применяем Hadoop когда создаем следующие решения для больших данных:

Big data системы Hive для аналитических операций, в сочетании с HBase или непосредственно поверх Hadoop.
Мощные поисковые системы на основе сочетания Lucene/SOLR и Hadoop, с использованием Lucene для морфологического анализа, обработки сложных слов и т.д.
Системы интеллектуального анализа данных и хранения информации, с использованием открытых программных инструментов, таких как Pentaho или JasperReports.
Решения на основе транзакционной базы данных Titan для обработки больших объемов графических данных с HBase в качестве сервера хранилища данных.

Python

На сегодняшний день Python самый популярный язык в обработке и анализе данных. Команды Формат Кода имеют широкий опыт использования платформ и модулей Python, таких как Django, Flask, NumPy, NLTK, Gensim, Beautiful Soup, SciPy, Pandas. Благодаря опыту работы с веб-приложениями и графическими интерфейсами, мы умеем бесшовно создавать интегрированные приложения для всех процессов в работе с данными.

Postgres

Postgres это реляционная БД с открытым кодом. Она динамично развивается, и на сегодняшний день многие считают ее наиболее гибкой и мощной реляционной БД. В Формат Кода мы умеем создавать архитектуру, писать сложные системы запросов, оптимизировать и поддерживать Postgres.

Облачные сервисы

Формат Кода сможет сопровождать клиента на всех этапах пути от сервера к облачным сервисам. От переноса вашего первого приложения в облако до интеграции одного или нескольких облачных сервисов в единую систему мы предлагаем заказчикам опыт работы с широким спектром облаков от Yandex Cloud до AWS и Azure.

Платформы BI

Современная бизнес аналитика подразумевает знание платформ BI, таких как QlickView и Power BI. Формат Кода умеет создавать решения с использованием этих платформ, умеет интегрировать их в существующую структуру. Форма Кода имеет опыт внедрения широкого спектра современных платформ. Среди наших успешных проектов также решения для бизнес-аналитики со своим кодом, созданные по уникальным требованиям клиента, в том числе для импортозамещения.