Пако Гонсалес. Использование фильтрующих индексов Блума для поиска текста в ClickHouse в реальном времени

Это перевод статьи: Paco González. Using Bloom filter indexes for real-time text search in ClickHouse

Содержание

Введение

У нашего клиента есть данные текстового журнала и он хочет иметь возможность (быстрого) поиска текста. Однако в ClickHouse поиск текста без каких-либо дополнительных средств приводит к полному сканированию. А как нам известно, полное сканирование не эффективно.

Эффективный поиск текста в базах данных бывает трудной задачей даже для опытных специалистов. С текстовыми данными связан специфичный набор проблем, в частности - поиск одного текста в другом (особенно если это нужно сделать в реальном времени). В этой статье описывается наш опыт, приобретённый нами при попытках решить проблему одного из наших клиентов. Ему нужно было узнать, можно ли обойтись без полного сканирования при необходимости отфильтровать миллиарды строк данных текстового журнала.

Tinybird, созданный на основе ClickHouse, помогает создавать масштабируемые системы с обработкой данных в реальном времени, унифицировать все имеющиеся данные, разрабатывать SQL-запросы для преобразования данных в реальном времени и предоставлять автоматически сгенерированный высокопараллельный интерфейс для прикладных программ целой организации. У нас есть большое количество собственных экспертов по ClickHouse и мы часто вносим доработки в открытый код ClickHouse. Поэтому мы часто помогаем таким заказчикам, как этот, улучшить производительность и снизить расходы за счёт повышения производительности запросов ClickHouse.

Примечание

В настоящее время фильтрующие индексы Блума недоступны в Tinybird. Если вы пользуетесь Tinybird и считаете, что вам могут пригодиться фильтры Блума, сообщите нам об этом.

Читайте дальше, чтобы узнать, как воспользоваться фильтрующими индексами Блума для оптимизации поиска текста в реальном времени в ClickHouse. Если вы хотите присоединиться к нашей команде, ознакомьтесь с нашей страницей карьера.

Если вы хотите попробовать Tinybird, можете начать с бесплатного тарифа. За считанные минуты вы сможете создать свой первый интерфейс реального времени для прикладных программ.

Проблема

Общепринятое мнение заключается в том, что поиск текста без каких-либо дополнительных средств неизбежно приводит к полному сканированию - подходу, похожему на поиск иголки в стоге сена.

Конечно, полное сканирование не эффективно, потому что приводит к чрезмерной загрузке системы, снижает производительность и увеличивает затраты.

Кроме того, стандартные способы индексации, предоставляемые ClickHouse, такие как первичные ключи и сортирующие индексы, не всегда подходят для поиска текста или обладают недостаточной гибкостью. Они позволяют ускорить только поиск точного совпадения или совпадения с началом текста, когда можно использовать упорядоченность по алфавиту.

Если же нужно найти более сложное совпадение, например, совпадение с подстрокой, то этот способ индексирования не поможет. Чтобы избежать полного сканирования, нужно воспользоваться чем-то другим.

Решение

И тут вступают в игру индексы пропуска данных ClickHouse. Эти специализированные индексы можно использовать для значительного увеличения производительности поиска текста в ClickHouse. Индексы пропуска данных имеют особую структуру - они содержат информацию о том, что есть внутри определённой гранулы (или нескольких гранул) таблицы. Размер гранул, настроенный в свойствах таблицы, позволяет эффективнее обрабатывать данные, избегая затратного полного сканирования.

В этой статье я расскажу про некоторые тонкости использования индексов пропуска данных. В частности, я объясню реализацию фильтрующих индексов Блума в ClickHouse и они могут кардинально повлиять на поиск текста. Я также продемонстрирую результаты тестов производительности, проделанных на реальных данных.

Что такое фильтр Блума?

В этой статье рассматривается только один из индексов пропуска данных ClickHouse: фильтры Блума. Эти индексы основаны на фильтрах Блума, которые являются структурами данных, используемыми для определения возможности наличия элемента в множестве.

Слово возможность означает, что если элемент находится во множестве, то индекс говорит лишь "Элемент может быть во множестве", но если элемента нет во множестве, то он говорит "Его определённо нет во множестве". Это означает, что могут возникать ложно-положительные срабатывания, когда "Элемент может быть во множестве", но при проверке множества выясняется, что искомого элемента в нём нет.

Фильтры Блума используют массивы битов фиксированного размера и несколько хэш-функций. Если элемент вставляется в фильтр, хэш-функция генерирует множество позиций в массиве и эти позиции устанавливаются в 1. Для проверки наличия элемента хэш-функция применяется к элементу и если какая-либо позиция в битовом массиве не установлена в 1, то элемента точно нет. Однако, если все позиции выставлены в 1, то возможно этот элемент присутствует, хотя существует вероятность ложно-положительного срабатывания.

Давайте изучим, как это работает на конкретном примере. Представим, что мы создали фильтр Блума из 3 бит и 2 функций хэширования и вставили в фильтр строки "Hello" и "Bloom". При сопоставлении значений хэш-функции входящего значения с индексом Блума проверяется, что у обоих битовых массивов совпадают единичные биты. Давайте посмотрим на анимацию:

В приведённом примере первая хэш-функция для "Hello" вернула 1, а вторая - 3. Поэтому фильтр Блума выставляет биты 1 и 3 в индексе равными 1. Затем хэш-функции для "Bloom" возвращают 1 и 2. Фильтр Блума таким же образом выставляет оба бита в 1, несмотря на то, что позиция 1 уже равна 1.

При выполнении запроса с использованием фильтра Блума вычисляется значение каждой из хэш-функций. Если полученные биты хэш-функции равны 1, то искомый элемент возможно есть во множестве. Если же любой из них равен 0, то можно быть уверенным, что такого элемента во множестве нет.

Способы использования фильтров Блума

В настоящее время фильтры Блума широко используются во многих технологиях, среди которых базы данных, сети и распределённые системы. Они снижают количество операций с дисками или сетью, улучшая производительность. Например:

• В базах данных фильтры Блума могут использоваться для избежания операций чтения с диска при поиске несуществующих значений.
• Веб-браузеры используют их для поиска URL в списке вредоносных страниц.
• Веб-приложения используют их для проверки, свободен ли идентификатор пользователя.
• Рекомендательные алгоритмы используют их для сокрытия уже показанных статей.
• Алгоритмы проверки правописания используют их для поиска ошибок и/или ненормативных слов.

Фильтры Блума в ClickHouse

Итак, возможно вы уже поняли, зачем они нужны. В таком случае вы можете использовать фильтр Блума в ClickHouse для проверки, что искомый текст возможно есть в таблице.

Готово! Но не совсем. Проверки типа "элемент во множестве" сами по себе не особо полезны, поскольку обычно нужно найти не точное соответствие тексту, а строки, содержащие искомую подстроку.

Например, если вы хотите купить машину, скорее всего вы не начнёте поиск со строки "FIAT Fiorino Cargo Base 1.3 Mjet 80cv E6". Скорее всего вы начнёте поиск с чего-нибудь вроде "fiat fiorino" и посмотрите на результаты (теперь Google стал показывать мне рекламу машины).

Обработка текста

Для того, чтобы появилась возможность проверить наличие элемента во множестве, нужно сначала разделить текст на фрагменты, которые можно обработать с помощью фильтра Блума.

В настоящее время в ClickHouse это можно сделать одним из двух способов, каждый из которых обладает разными возможностями. Результаты деления текста используются для построения множества элементов, присутствующих в грануле (или гранулах).

Деление на слова

Первый из двух способов - деление на слова. Текст делится на части разделяющими символами (пробелами, тире, знаками пунктуации и т.п.), чтобы выделить слова. Такое деление вызывает сложности при поиске текста.

Поскольку текст делится на слова, производительность повышается только при использовании фильтров Блума для поиска отдельных слов. Поиск "fiat fiorino" сработает, но не найдёт всех форм слов с различными приставками, суффиксами и окончаниями.

Деление на слова в некоторых случаях может оказаться полезным, но оно ограничивает полноту поиска текста. Это особенно справедливо для случая нашего заказчика, поскольку его журнальные данные не являются полностью естественным языком, из-за чего деление на слова не подходит.

n-грамы

Второй (и более интересный) способ - это n-грамы, при котором текст делится на группы из n последовательных символов. Представим, что по строке текста слева направо скользит "n-грамное окно" размером 4, которое смещается по тексту на один символ за раз. Вот как это может выглядеть для текста "Hello_world!":

Как работает 4-грама при разборе простой строки

[Hell]o_world!
^
H[ello]_world!
 ^
He[llo_]world!
  ^
Hel[lo_w]world!
   ^
...

Hello_wo[rld!]
        ^

Это означает, что для текста "Hello_world!" получатся следующие 4-грамы (при n=4):

4-грамы для "Hello_WORLD!"

Hell
ello
llo_
lo_w
o_wo
_wor
worl
orld
rld!

Каждая из этих 4-грам может использоваться в качестве отдельной записи в индексе базы данных, позволяя достичь высокой гранулярности, а следовательно высокой эффективности индексации текста.

Для поиска среди индексированных 4-грам пригодны только искомые строки длинной не меньше длины n-грамы, которая в данном случае составляет 4 символа. Например, поиск трёхсимвольной подстроки, такой как "wor" не принесёт результата, поскольку она недостаточно длинная для того, чтобы совпасть с какой-либо 4-грамой.

Дьявол в деталях. Как настроить фильтр Блума в ClickHouse

n-грамный фильтр Блума в ClickHouse выглядит следующим образом:

Конфигурация n-грамного фильтра Блума в ClickHouse

ngrambf_v1(4, 1024, 1, 0) GRANULARITY 1

Что означает следующее:

• Тип фильтрующего индекса Блума - ngrambf
• Размер n-грамного окна равен 4
• Размер фильтра Блума равен 1024 байтам
• Количество хэш-функций равно 1
• Гранулярность индекса пропуска равна 1 (вот почему я продолжаю писать "гранула или гранулы"; в данном случае каждый индекс содержит данные для одной гранулы, которая по умолчанию содержит 8192 строки)

Смысл в том, что чем больше размер фильтра Блума/множество элементов и/или чем больше количество хэш-функций, тем реже случаются ложно-положительные срабатывания, но и тем более затратным оказывается каждое вычисление (поэтому обычно не стоит создавать огромный фильтр Блума с несколькими хэш-функциями).

Частота ложно-положительных срабатываний также зависит от количества элементов в множестве (каждый элемент - это n-грама), но количество элементов в множестве зависит от количества строк, которые попадают в каждую из записей индекса, на что влияет настройка гранулярности. Чем меньше общее количество элементов, тем лучше, но с другой стороны тем больше вычислений будет выполняться при поиске.

Возможно вы уже поняли, что есть множество влияющих друг на друга факторов, поэтому лучше попробовать разные настройки и выбрать подходящие на основании лучших результатов для наиболее типичного случая.

Чтобы выяснить, какие настройки n-грам лучше подходят для нашего случая, мы самостоятельно провели тесты производительности.

Прирост производительности

А теперь то, чего мы ждали с первого предложения этой статьи: сравнение производительности ClickHouse при поиске текстового значения в журналах с настройками по умолчанию и с фильтрами Блума.

Замечание о тестировании производительности

Важно понимать, что производительность баз данных, а также таких функций, как фильтры Блума, в высокой степени зависят от конкретного применения. Результаты, приведённые ниже, отражают особенности нашего случая поиска в журнале в ClickHouse. Однако, производительность может сильно зависеть от множества обстоятельств, среди которых характер данных, настройки системы, особенности схемы данных и многие другие. Учитывая это, мы настоятельно рекомендуем проделать собственные тесты производительности, соответствующие именно вашим условиям и требованиям. Мы будем рады познакомиться с результатами ваших изысканий. Помните, что цель - оптимизация под ваши уникальные потребности и нагрузки.

Условия тестирования

• Подмножество всех данных журнала за последние 10 дней из набора заказчика составило около 130 гигабайт несжатых данных. Эти данные были взяты в качестве репрезентативного примера худшего сценария сканирования.
• Затем мы поискали во всех этих журнальных данных текст "lambda". Это не распространённое слово, поэтому в этом наборе данных оно встретилось около 230 раз.
• Наконец, мы записали время выполнения запроса, тип сканирования и размер индекса в соотношении с размером столбца.

Примечание

К несчастью, поскольку это частные данные заказчика, мы не можем раскрыть реальный набор данных, использованный в этом тесте производительности.

Настройки, использованные при тестировании

ОПИСАНИЕ	РАЗМЕР N-ГРАМЫ	РАЗМЕР ФИЛЬТРА БЛУМА	КОЛИЧЕСТВО ХЭШ-ФУНКЦИЙ	ГРАНУЛЯРНОСТЬ
Без индекса	0	0	0	0
ngrambf_v1(4, 1024, 1, 0)	4	1024	1	1
ngrambf_v1(4, 1024, 2, 0)	4	1024	2	1
ngrambf_v1(4, 4096, 1, 0)	4	4096	1	1
ngrambf_v1(4, 8192, 1, 0)	4	8192	1	1

Результаты

Ускорение:

Здесь можно увидеть общую длительность запроса при указанной конфигурации фильтра Блума в сравнении со временем запроса без использования индекса.

ОПИСАНИЕ	ДЛИТЕЛЬНОСТЬ ЗАПРОСА	УСКОРЕНИЕ (КРАТНОСТЬ)
Без индекса	11.11 с	1
ngrambf_v1(4, 1024, 1, 0)	0.127 с	87.7x
ngrambf_v1(4, 1024, 2, 0)	0.139 с	79.9x
ngrambf_v1(4, 4096, 1, 0)	0.240 с	49.3x
ngrambf_v1(4, 8192, 1, 0)	0.447 с	24.8x

Объём сканируемых данных:

Здесь можно увидеть общий объём просканированных данных в каждой из конфигураций фильтра Блума по сравнению со сканированием без индекса.

ОПИСАНИЕ	ОБЪЕМ ПРОСКАНИРОВАННЫХ ДАННЫХ	СНИЖЕНИЕ (КРАТНОСТЬ)
No index	129.8 Гб	1
ngrambf_v1(4, 1024, 1, 0)	0.400 Гб	324.2x
ngrambf_v1(4, 1024, 2, 0)	0.408 Гб	318.0x
ngrambf_v1(4, 4096, 1, 0)	0.191 Гб	678.1x
ngrambf_v1(4, 8192, 1, 0)	0.183 Гб	710.7x

Объединённые результаты: Длительность запроса и объём сканируемых данных

Ниже можно увидеть компромисс между длительностью выполнения запроса и объёмом сканируемых данных в разных конфигурациях.

ОПИСАНИЕ	УСКОРЕНИЕ (КРАТНОСТЬ)	СНИЖЕНИЕ (КРАТНОСТЬ)
Без индекса	1	1
ngrambf_v1(4, 1024, 1, 0)	87.7x	324.2x
ngrambf_v1(4, 1024, 2, 0)	79.9x	318.0x
ngrambf_v1(4, 4096, 1, 0)	46.3x	678.1x
ngrambf_v1(4, 8192, 1, 0)	24.8x	710.7x

Используемый объём: фильтрующий индекс Блума по сравнению с объёмом данных

Для понимания затрат на хранение фильтра Блума на этой диаграмме показано, сколько сжатых данных занимает фильтрующий индекс Блума по сравнению со сжатыми данными.

Примечание

Сжатый размер данных журнала около 4 гигабайт

ОПИСАНИЕ	РАЗМЕР СЖАТОГО ИНДЕКСА (МБ)	ОТНОШЕНИЕ К РАЗМЕРУ СТОЛБЦА
Без индекса	1	1
ngrambf_v1(4, 1024, 1, 0)	2477.5	0.062x
ngrambf_v1(4, 1024, 2, 0)	253.2	0.064x
ngrambf_v1(4, 4096, 1, 0)	778.4	0.195x
ngrambf_v1(4, 8192, 1, 0)	1280.0	0.321x

Выводы из тестов производительности

Много букв, не читал: Как можно видеть из тестов данных журнала, фильтры Блума значительно улучшают эффективность поиска редких слов в ClickHouse. Хотя фильтр Блума в несколько раз ускоряет запрос и уменьшает объём сканируемых данных, он также увеличивает потребление хранилища. Мы считаем, что оптимальная конфигурация зависит от баланса увеличения производительности и стоимости хранилища в каждом конкретном случае.

Из наших тестов данных журнала объёмом около 130 гигабайт мы увидели, что фильтры Блума могут значительно расширить возможности поиска в ClickHouse при поиске редких слов. Применение фильтр Блума различных конфигураций для поиска слова "lambda" приводит к драматическому снижению длительности запроса и объёма сканирования. В частности, для нашего набора данных конфигурация ngrambf_v1(4, 1024, 1, 0) даёт впечатляющее ускорение запроса примерно в 88 раз по сравнению с поиском без индекса, одновременно снижая объём сканируемых данных в 324 раза.

Однако, эти улучшения достаются ценой увеличения объёма данных в хранилище. Например, конфигурация ngrambf_v1(4, 8192, 1, 0) увеличивает потребление хранилища примерно на 32% от объёма столбца. Более того, конфигурация ngrambf_v1(4, 8192, 1, 0) приносит наименьший прирост скорости (всего примерно в 25 раз быстрее), достигаемый при наибольшем уменьшении объёма сканируемых данных.

Увеличение использования объёма хранилища не представляет большой проблемы для нашего клиента, а более высокая скорость для него предпочтительнее, чем снижение объёма сканирования, поэтому он остановился на варианте ngrambf_v1(4, 1024, 1, 0).

Из результатов видна важность поиска подходящего вам баланса. Фильтры Блума могут улучшить эффективность поиска в ClickHouse, но нужно учитывать потребление объёма хранилища и желаемый результат. Не существует универсальных настроек фильтра Блума. Стоит провести тестирование производительности с вашими данными для того, чтобы определить оптимальное соотношение настроек для ваших нужд.

Как создать фильтрующий индекс Блума в ClickHouse

Если вы зашли так далеко и готовы ускорить поиск текста, мы покажем шаги, необходимые для создания фильтрующего индекса Блума в ClickHouse.

1. Создание индекса

Эта команда создаёт новый фильтрующий индекс Блума над указанным столбцом в базе данных. Выражение TYPE ngrambf_v1(4, 1024, 1, 0) указывает тип индекса (n-грамный фильтр Блума) и его параметры (размер n-грамы, размер фильтра Блума, количество кэш-функций, начальное значение). Выражение GRANULARITY 1 указывает уровень гранулярности индекса и означает, что индексная строка создаётся для каждой строки данных.

Создание n-грамного фильтрующего индекса Блума

ALTER TABLE база_данных.таблица
ON CLUSTER кластер
ADD INDEX название_индекса [преобразования](индексируемые_столбцы) TYPE ngrambf_v1(4, 1024, 1, 0) GRANULARITY 1

2. Материализация индекса

Эта команда заставит ClickHouse построить индекс для существующих данных в таблице. По умолчанию ClickHouse начинает строить индекс лишь для вновь вставленных данных. Вот почему нужна команда MATERIALIZE INDEX, чтобы применить индекс к уже существующим данным. (Это похоже на наполнение Материализованного представления в Tinybird).

Материализация созданного индекса

ALTER TABLE база_данных.таблица
ON CLUSTER кластер
MATERIALIZE INDEX название_индекса

3. Удаление индекса

Эта команда удалит ранее созданный индекс (название_индекса) из таблицы таблица в базе данных база_данных. Она может пригодиться, если индекс больше не нужен или если он занимает слишком много места.

Удаление индекса

ALTER TABLE база_данных.таблица
ON CLUSTER кластер
DROP INDEX название_индекса

Каковы недостатки использования фильтра Блума?

Хотя фильтры Блума дают значительные преимущества, если речь заходит о потреблении памяти и скорости, у них так же есть определённые ограничения.

• Во-первых, они не поддерживают удаление элементов. Перекрытие битов нескольких элементов делает невозможным очистку битов, соответствующих отдельным элементам без опасения столкнуться со случаями ложно-отрицательных результатов.
• Другое ограничение - это неизбежный процент ложно-положительных срабатываний. Хотя этого можно избежать за счёт некоторого увеличения размера фильтра или количества хэш-функций, полное избавление от ложно-положительных срабатываний недостижимо.
• Фильтры Блума на диске приводят к неэффективности в процессе работы, связанной с небоходимостью случайного доступа. Хэш-функции выдают случайные индексы, что приводит к высоким задержкам во время операций с диском.
• Функция поиска с использованием фильтров Блума чувствительна к регистру. Чтобы нивелировать разницу в регистре у входных значений, могут потребоваться дополнительные шаги. Для решения этой проблемы можно сохранять все элементы в нижнем регистре, но в некоторых случаях регистр имеет значение.
• Фильтры Блума занимают дополнительное место объёмом от 5 до 30% от размера столбца, в зависимости от настроек. Это может иметь значение для систем с ограниченным объёмом хранилища.
• Наконец, эффективность фильтров Блума при коротких запросах снижается. Они требуют, чтобы искомая строка состояла минимум из 4 символов, из-за чего непригодны для поиска более коротких последовательностей.

Заключение

Поиск в огромных объёмах текстовых данных может быть сложным и ресурсозатратным процессом. Стандартны подход с полным сканированием похож на поиск иголки в стоге сена, для операций в реальном масштабе времени он непрактичен. Хотя обычные методы индексации часто облегчают задачу, иногда их оказывается недостаточно для работы с текстовыми данными. Вот где индексы пропуска данных ClickHouse, в частности фильтры Блума, предоставляют эффективную альтернативу. Фильтры Блума - структуры для проверки возможности существования элемента во множестве, благодаря чему уменьшают стоимость и увеличивают производительность.

Ключом к эффективности поиска текста является деление текста на фрагменты и n-грамы. Деление текста позволяет разбить его на обрабатываемые части, хотя n-грамы создают пересекающиеся кластеры символов при более сложных шаблонах поиска. N-грамы, несмотря на ресурсоёмкость, более эффективны.

Наши тесты данных журнала показали, что фильтры Блума значительно увеличивают эффективность ClickHouse при поиске текста. Они драматически снижают длительность запроса и объём сканируемых данных, хотя для них необходимо дополнительное место. Оптимальная конфигурация фильтров Блума зависит от конкретного применения и требует баланса между улучшением производительности и увеличением затрат хранилища. Фильтры Блума - надёжное решение для поиска текста в ClickHouse, а понимание их устройства и тестирование помогут полностью раскрыть их потенциал.

Статьи и ресурсы по теме

• https://systemdesign.one/bloom-filters-explained/
• https://altinity.com/blog/skipping-indices-part-2-bloom-filters
• https://clickhouse.com/docs/en/optimize/skipping-indexes
• https://chistadata.com/bloom-filters-with-clickhouse-use-cases/
• https://www.instana.com/blog/improve-query-performance-with-clickhouse-data-skipping-index/

Вопросы и ответы о фильтрах Блума в ClickHouse

Что такое индексы пропуска данных в ClickHouse и как они улучшают поиск текста?

Индексы пропуска данных ClickHouse позволяют увеличить эффективность поиска текста. Они содержат информацию о том, что находится внутри каждой гранулы таблицы, позволяя пропускать невостребованные данные и обращаться к подходящей информации.

Как фильтр Блума увеличивает эффективность поиска текста в ClickHouse?

Фильтр Блума - это структура данных, которая помогает проверить наличие элемента во множестве элементов. В ClickHouse она значительно ускоряет поиск текста, т.к. с её помощью можно быстро проверить, можно ли найти элемент в указанном наборе.

Каковы различия между делением на фрагменты и n-грамы при обработке текста в ClickHouse?

Деление на фрагменты и n-грамы - это два метода деления текста в ClickHouse. Деление на фрагменты заключается в делении текста по пробельным символам и знакам препинания, благодаря чему извлекаются целые слова, а n-грамы делят текст на группы из n последовательных символов. Второй способ более гранулярный и эффективнее при поиске текста.

Как настроить n-грамный фильтр Блума в ClickHouse для оптимальной производительности поиска текста?

При настройке n-грамного фильтра Блума в ClickHouse задаются такие параметры, как размер фильтра Блума, количество хэш-функций и гранулярность фильтрующего индекса. Подбор этих параметров может снизить ложно-положительные срабатывания и оптимизировать скорость поиска. Однако, идеальная конфигурация главным образом зависит от ваших данных и типовых случаев.

Tinybird поддерживает фильтры Блума?

В настоящее время фильтрующие индексы Блума в Tinybird недоступны. Однако мы включили их для клиентов Enterprise. Если вам нужен фильтр Блума для данных в Tinybird, свяжитесь с нами через Сообщество Tinybird в Slack или через канал Enterprise, выделенный для вас Slack.

Как фильтр Блума улучшает эффективность поиска редких последовательностей в больших наборах данных?

Фильтры Блума могут значительно улучшить эффективность поиска редких последовательностей в огромных наборах данных, сокращая необходимое количество чтений с диска. Они быстро определяют, может ли последовательность быть в наборе данных, позволяя системе пропускать неподходящие данные.

Каковы преимущества и недостатки от использования фильтров Блума в ClickHouse?

Фильтры Блума могут значительно ускорить поиск текста и снизить общее количество данных, сканируемых ClickHouse. Однако при этом увеличивается требуемый объём хранилища из-за особенностей структуры данных фильтров Блума. Важно найти баланс между требованиями и возможностями хранилища.

Почему при настройке фильтров Блума в ClickHouse имеют значение тесты производительности?

Тестирование производительности имеет решающее значение при настройке фильтров Блума, потому что помогает определить оптимальные настройки для конкретных нужд. Оно позволяет найти верный баланс между скоростью выполнения запроса, снижением объёма сканирования и использованием хранилища.

Что такое Tinybird?

Tinybird - это платформа интерфейсов для прикладных аналитических программ реального времени, упрощающая работу с огромными объёмами данных. Она предназначена для приёма, сохранения и анализа огромных объёмов данных в реальном времени, предоставляя пользователям возможность анализировать данные и быстро и эффективно принимать решения.

Как Tinybird использует ClickHouse?

Tinybird использует силу ClickHouse, системы управления столбцово-ориентированными базами данных с открытыми исходными текстами, как нижележащую технологию для хранения данных и управления ими. Возможности ClickHouse для высокоскоростной вставки и извлечения данных сочетаются с аналитическими инструментами Tinybird и интуитивным интерфейсом прикладных программ, предоставляющим эффективный способ работать с огромными объёмами данных.