5 Aug 2026, 07:45 UTC288 views11 reactionsread 7 August 2026 🆙 В понедельник, 10 августа, стартует пятый поток DE-практикума.
🧩 Если совсем простыми словами, мы берём сырые CSV-файлы и постепенно превращаем их в нормальный работающий проект: принимаем данные, чистим ошибки, раскладываем по слоям, запускаем обработку и доводим всё до отчёта для бизнеса.
По пути поднимаем Docker-стенд, работаем с PostgreSQL, Spark, Airflow, MinIO и BI. Хочется, чтобы в конце ты действительно п…
❤6custom 54338124404312117933👍1🔥1
31 Jul 2026, 07:51 UTC530 views7 reactionsread 7 August 2026 Posted without readable text
😁3👍2🔥2
28 Jul 2026, 08:47 UTC624 views14 reactionsread 7 August 2026 Photo
🥳 Наконец-то обновил сайт
Как многие, наверное, уже заметили, за последние пару недель я почти полностью пересобрал сайт.
Я менял не только оформление. Главное, что теперь по сайту можно пройти от своей текущей точки до подходящего курса или практикума:
посмотреть программу, требования к старту, примеры задач и ожидаемый результат.
🔍 Что изменилось:
1️⃣ Разделил направления
Теперь на сайте три отдельные траектор…
🔥9❤2🤩2custom 54338124404312117931
21 Jul 2026, 08:32 UTC767 views22 reactionsread 7 August 2026 Photo
Один файл, четыре слоя и сумма, которая легко уезжает
В пятницу показал дерево репозитория практикума и обещал показать что-нибудь интересное 😡
На скрине было много папок: data, dags, db, scripts, spark, checks. Без контекста это выглядит просто как большой технический проект, и сложно понять, что к чему.
Допустим, источник прислал orders.csv.
Внутри идентификатор заказа, дата, статус и сумма. Одна сумма записана …
🔥17👍3❤1custom 54338124404312117931
16 Jul 2026, 10:49 UTC851 views54 reactions3 Starsread 7 August 2026 Photo
🐻 Сегодня моему блогу про Data Engineering ровно 2 года! ✨
Спасибо всем, кто читает, отвечает, спорит, задаёт вопросы и иногда просто молча остаётся рядом!
Очень ценю, что всё это время вы здесь! ❤️❤️❤️
❤40🔥8👏4🤝2
13 Jul 2026, 07:26 UTC≈1,060 views13 reactionsread 7 August 2026 Docker и Airflow: небольшая практика руками
🙂А помните, я недавно делал опрос, что сильнее всего тормозит при изучении DE. Больше всего ответов набрали Docker и Airflow.
Поэтому собрал небольшое упражнение, которое можно пройти на готовом проекте 🎧
Поднимите стенд и попробуйте разобраться:
🟢 Какие контейнеры запущены и за что отвечает каждый?
🟢 Где Airflow берет DAG и из каких задач он состоит?
🟢 В каком порядке в…
👍5🔥5❤2😁1
9 Jul 2026, 07:30 UTC≈1,130 views42 reactionsread 7 August 2026 Ребят, кто еще делает такие ошибки время от времени?
Бывает, я могу забыть запятую между CTE. Поменять дату в одном месте и забыть поменять во втором. Два раза заджойнить одну и ту же таблицу. Добавить агрегацию и забыть GROUP BY.
Последнее, конечно, жестко. 🫠
Но когда торопишься, бывает.
Еще классика: поставить фильтр после LEFT JOIN, а потом смотреть, почему строк стало меньше, данных нет, но вы держитесь 🧐
И с…
🔥42
6 Jul 2026, 07:03 UTC≈1,190 views9 reactionsread 7 August 2026 ➡️ Хочу сегодня посоветовать канал Саши
Мы познакомились еще в 2024 году, когда оба только активно развивали свои блоги про данные. Я больше писал про SQL, DWH и Data Engineering, Саша - про аналитику, A/B-тесты, статистику и продуктовые решения.
С тех пор я периодически читаю его канал: Саша пишет живо, с иронией, но всегда по делу. Видно, что он очень хорош в настоящих продуктовых ситуациях, где данные есть, но г…
❤3🔥3👍2😁1
3 Jul 2026, 09:36 UTC996 views19 reactionsread 7 August 2026 Photo
Пока в сториз идет опрос про главный стопор в DE, Docker и Airflow уверенно забрали пятницу себе.
SQL держится бодро, а вот вокруг локального запуска и DAG начинается борьба 😄
🌀 Если Docker не поднимается, я бы шел так:
1️⃣Проверить, что Docker Desktop вообще запущен.
2️⃣Выполнить:
docker --version
docker compose version
docker info
3️⃣Если проект уже есть, посмотреть контейнеры:
docker compose ps
4️⃣Если кон…
👍9❤4🔥3😁3
27 Jun 2026, 08:50 UTC901 views15 reactions1 Starread 7 August 2026 Photo
✅ Не весь Python. А тот, который чистит данные
На неделе я писал про python задачи, которые часто встречаются рядом с DE: привести колонки к одному виду, проверить обязательные поля, поймать изменение схемы, посчитать результат загрузки, замаскировать личные данные.
Мне в свое время сильно не хватало именно такого слоя. Часто в работе бывает, что нужно быстро обработать и проверить данные.
Такие задачи я как раз в…
🔥9👍4❤2
24 Jun 2026, 07:50 UTC962 views17 reactionsread 7 August 2026 Photo
5 практичных Python-задач для DE
В SQL-проверках мы часто смотрим уже готовую витрину: сколько строк, какой период, нет ли дублей, не поехали ли суммы.
Но часть проблем появляется раньше. Еще до витрины.
Пришел файл. В нем странные названия колонок, пустые обязательные поля, лишние столбцы, дубли, email в открытом виде, непонятно сколько строк реально загрузилось. Часто нужно взять чей-то сэмпл данных и поработать …
🔥11👍4❤2
16 Jun 2026, 07:45 UTC944 views10 reactionsread 7 August 2026 Photo
⚡️ Хочу оставить здесь несколько живых сообщений от участников потока. Для меня это хороший способ увидеть, где материал действительно начинает работать в реальных задачах и в понимании всего маршрута данных.
Если вам сейчас как раз этого и не хватает, посмотреть практикум можно здесь.
Программа курса на Stepik.
#путь_DE
👍6❤2🔥2
Showing the 12 most recent of 17 posts we hold for @kuzmin_dmitry91. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.