Школа Больших Данных

Apache Superset — это современная платформа для исследования и визуализации данных. Изначально ее создали в компании Airbnb. Впоследствии, проект стал частью Apache Software Foundation. По сути, Superset помогает создавать интерактивные дашборды. Он также предоставляет мощные инструменты для анализа данных.

Основные функциональные возможности Apache SuperSet
WIKI: https://bigdataschool.ru/wiki/apache-superset/
Наш сайт: https://bigdataschool.ru/
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Apache SuperSet Узнайте о возможностях Apache Superset: десятки визуализаций, поддержка множества источников данных и гибкая безопасность.

Druid – это высокопроизводительная, распределенная база данных для аналитики в реальном времени (real-time analytics database). Она создана для быстрых OLAP-запросов (Online Analytical Processing) по большим наборам данных. Druid идеально подходит для сценариев, где требуется мгновенная обработка и визуализация потоковых или исторических данных, таких как бизнес-аналитика, мониторинг сетевых событий, анализ пользовательского поведения и IoT-аналитика.
WIKI: https://bigdataschool.ru/wiki/apache_druid/
Наш сайт: https://bigdataschool.ru/
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Druid Druid – это высокопроизводительная, распределенная база данных для аналитики в реальном

MergeTree

MergeTree – это семейство движков таблиц в ClickHouse, разработанное для хранения данных, отсортированных по первичному ключу. Эти движки обеспечивают высокую производительность для широкого спектра аналитических запросов, поддерживая быструю вставку данных и их последующую фоновую обработку (слияние кусков данных). Семейство MergeTree engine является основой для большинства высоконагруженных задач в ClickHouse.
WIKI: https://bigdataschool.ru/wiki/mergetree/
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/
Наш сайт: https://bigdataschool.ru/
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

MergeTree MergeTree – это семейство движков таблиц в ClickHouse, разработанное для хранения данных, отсорт

#Пользовательское #распределение #данных
Пользовательское распределение данных для входного потока Lookup Join в Apache Flink 2.0

Как Flink SQL позволяет обогащать потоковые данные информацией из внешних систем и статических таблиц, зачем в релизе 2.0 улучшили Lookup Join и каким образом работает эта оптимизация.

Как работает потоковое обогащение в Apache Flink
Для взаимодействия с внешними системами (источниками и приемниками данных) Apache Flink использует коннекторы. Source-коннекторы обеспечивают чтение данных из источников, а sink-коннекторы позволяют записывать результаты во внешние базы и другие хранилища данных. Одним из частных случаев обработки потоковых данных, потребляемых Flink-приложением из потоковых платформ передачи событий.
Статья: https://bigdataschool.ru/blog/news/flink/lookup-join-improvement-in-flink-sql/?utm_source=wikitg
Курсы: FLINK: https://bigdataschool.ru/courses/flink-stream-processing/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Пользовательское распределение данных для входного потока Lookup Join в Apache Flink 2.0 Как Flink SQL позволяет обогащать потоковые данные информацией из внешних систем и статиче

Не только Python: Go SDK в Apache AirFlow 3.0

Зачем в Apache AirFlow 3.0 добавлена поддержка Go и как работает этот экспериментальный SDK: возможности и ограничения разработки и запуска задач на компилируемом языке программирования.

Мультиязычность в Apache AirFlow 3.0
Одной из ключевых новинок недавно выпущенного Apache AirFlow 3.0, о котором мы писали здесь, стала его мультиязычность. Теперь фреймворк поддерживает не только Python, но и Typescript, а также Java, Scala и Go. Разумеется, основным языком разработки в ETL-оркестраторе остается Python, однако теперь Airflow позволяет пользователям определять задачи DAG и на других языках.
Статья: https://bigdataschool.ru/blog/news/airflow/go-sdk-in-airflow-3/?utm_source=wikitg
Курсы: AIRF: https://bigdataschool.ru/courses/data-flow-with-apache-airflow/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Не только Python: Go SDK в Apache AirFlow 3.0 Зачем в Apache AirFlow 3.0 добавлена поддержка Go и как работает этот экспериментальный SDK: возм

#Настройка #многопоточной #обработки #планирование #нагрузки #ЦП
Настройка многопоточной обработки и планирование нагрузки ЦП в ClickHouse

Как оптимизировать многопоточную обработку в ClickHouse и эффективно распределить ресурсы ЦП между разными пользователями и запросами, спланировав рабочую нагрузку.

Настройка многопоточной обработки в Clickhouse
Чтобы эффективно утилизировать ресурсы для аналитической обработки огромных объемов данных, в ClickHouse можно спланировать рабочую нагрузку, определив приоритеты использования памяти, диска и ЦП для разных видов запросов. Поскольку ClickHouse изначально спроектирован для многопоточной обработки на всех ядрах ЦП, в СУБД есть возможности настроить параметры потоков.
Статья: https://bigdataschool.ru/blog/news/clickhouse/clickhouse-cpu-workload-tuning/?utm_source=wikitg
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/?utm_source=wikitg
YACH: https://bigdataschool.ru/courses/yach-clickhouse-dlya-inzhenerov-dannyh/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Настройка многопоточной обработки и планирование нагрузки ЦП в ClickHouse Как оптимизировать многопоточную обработку в ClickHouse и эффективно распределить ресурсы

#Многопоточность
Многопоточность в ClickHouse

Как ClickHouse распараллеливает обработку данных для максимального использования всех ядер ЦП: особенности многопоточных вычислений в колоночной СУБД.

Особенности многопоточной обработки в Clickhouse
Современные центральные процессоры (ЦП) содержат несколько ядер и могут работать с несколькими задачами одновременно. Это называется многопоточной обработкой, где каждый поток, последовательность выполняемых инструкций, представляется как отдельная задача. На уровне операционной системы (ОС) многопоточный ЦП выглядит как несколько логических, количество которых обычно равно количеству ядер.
Статья: https://bigdataschool.ru/blog/news/clickhouse/clickhouse-cpu-multithreads/?utm_source=wikitg
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/?utm_source=wikitg
YACH: https://bigdataschool.ru/courses/yach-clickhouse-dlya-inzhenerov-dannyh/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/courses/clickhouse/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Многопоточность в ClickHouse Как ClickHouse распараллеливает обработку данных для максимального использования всех ядер ЦП: особенности многопоточных вычислений в СУБД

#сравнение #фреймворков
Apache Wayang vs Beam: сравнение фреймворков

Чем похожи Apache Beam и Apache Wayang, чем они отличаются, что и когда выбирать для практического использования в аналитике и обработке больших данных: сравнительная таблица по 10 критериям.

Сходства и отличия Apache Wayang и Apache Beam
Недавно я писала про сходство и различие Apache Wayang и Trino, где упоминала, что Wayang скорее похож на Apache Beam – унифицированную модель определения пакетных и потоковых конвейеров параллельной обработки данных, которую можно запустить в любой среде исполнения (Flink, Spark, AirFlow и пр.), используя соответствующий движок (Runner).
Статья: https://bigdataschool.ru/blog/news/beam/wayang-vs-beam/?utm_source=wikitg
Курсы: MK-K8S: https://bigdataschool.ru/courses/mk-k8s-obrabotka-dannyh-s-ispolzovaniem-apache-spark-i-flink-na-kubernetes/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

bigdataschool.ru

#без #дисков #разбираемся
Kafka без дисков: разбираемся с KIP-1150

Почему провайдерам Kafka как сервиса недостаточно многоуровневого хранилища (KIP-405) и зачем они предложили новое улучшение KIP-1150, меняющее архитектуру хранения и репликации данных напрямую в объектные системы.

Кому и зачем понадобилась бездисковая Kafka: что не так с KIP-405
Одной из наиболее интересных тем вокруг Apache Kafka в апреле 2025 года стало улучшение KIP-1150 – так называемый Diskless Topics. Это изменение направлено на сокращение стоимости владения потоковой платформой благодаря репликации данных в объектные хранилища вместо жестких дисков на брокерах. Сегодня KIP-1150 еще находится в стадии обсуждения и пока не реализован ни в одном выпуске.
Статья: https://bigdataschool.ru/blog/news/kafka-diskless-topics/?utm_source=wikitg
Курсы: DEVKI: https://bigdataschool.ru/courses/apache-kafka-developers/?utm_source=wikitg
KAFKA: https://bigdataschool.ru/courses/apache-kafka-administrator-course/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

bigdataschool.ru

#Отложенная #материализация
Отложенная материализация в ClickHouse

Зачем в ClickHouse 25.4 добавлена отложенная материализация и как ленивые вычисления позволяют ускорить работу аналитической СУБД благодаря сокращению объемов читаемых данных и снижению количества операций дискового ввода-вывода.

Еще раз о пользе ленивых вычислений
Отложенные или ленивые вычисления (lazy evaluation), которые выполняются не сразу, а откладываются до момента, когда их результат действительно необходим, считаются довольно популярным подходом оптимизации производительности. Причем, этот подход работает не только для кода приложения, но и для баз данных. Например, эта оптимизация добавлена в релиз ClickHouse 25.4, вышедший в мае 2025 года.
Статья: https://bigdataschool.ru/blog/news/clickhouse/lazy-materialization-in-clickhouse/
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/
YACH: https://bigdataschool.ru/courses/yach-clickhouse-dlya-inzhenerov-dannyh/
Наш сайт: https://bigdataschool.ru/
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Отложенная материализация в ClickHouse Зачем в ClickHouse 25.4 добавлена отложенная материализация и как она работает: ленивые вычисления для ускорения колоночной СУБД

#Под #капотом #сравниваем #планы #запросов
Под капотом PREWHERE в ClickHouse: сравниваем планы запросов

Как устроена оптимизация PREWHERE для сокращения объема сканируемых данных в ClickHouse: разбираемся с деталями реализации и смотрим планы выполнения SQL-запросов.

Как устроена оптимизация PREWHERE в ClickHouse
Недавно мы писали, как оптимизация PREWHERE позволяет сократить объем сканируемых данных и повысить скорость выполнения SQL-запроса в ClickHouse. Сегодня рассмотрим техническую реализацию этого оператора и сравним планы выполнения SQL-запросов с ним и без него. В SQL-запросе с WHERE-условием ClickHouse сначала читает все столбцы таблицы, а затем применяет фильтр по условию.
Статья: https://bigdataschool.ru/blog/news/clickhouse/prewhere-optimization-in-clickhouse-under-the-hood/
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/
YACH: https://bigdataschool.ru/courses/yach-clickhouse-dlya-inzhenerov-dannyh/
Наш сайт: https://bigdataschool.ru/
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

Под капотом PREWHERE в ClickHouse: сравниваем планы запросов Как устроена оптимизация PREWHERE для сокращения объема сканируемых данных в ClickHouse: разбир

#Планирование #рабочей #нагрузки
Планирование рабочей нагрузки в ClickHouse

Как эффективно распределять ресурсы ClickHouse между разными пользователями и запросами, настроив политику планирования рабочих нагрузок: примеры и рекомендации.

Иерархия планирования рабочей нагрузки в Clickhouse
Когда ClickHouse выполняет несколько запросов одновременно, они могут использовать общие ресурсы, например, диски, ЦП и память. Чтобы эффективно распределять ресурсы ClickHouse между разными пользователями и нагрузками, в этой колоночной СУБД есть специальные механизмы планирования рабочей нагрузки (workload management).
Статья: https://bigdataschool.ru/blog/news/clickhouse/clickhouse-workload-management/?utm_source=wikitg
Курсы: CLICH: https://bigdataschool.ru/courses/clickhouse/?utm_source=wikitg
YACH: https://bigdataschool.ru/courses/yach-clickhouse-dlya-inzhenerov-dannyh/?utm_source=wikitg
Наш сайт: https://bigdataschool.ru/?utm_source=wikitg
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

bigdataschool.ru