Публічне сховище речей, які я захочу згадати в майбутньому і які ви 🧑‍🔧 теж можете знайти корисними. Zola 2024-03-28T14:13:00-07:00 https://shtein.me/ua/atom.xml 2024-03-28T14:13:00-07:00 2024-03-28T14:13:00-07:00 Igor Shtein https://shtein.me/ua/posts/blue-green-deployment-django-orm/ <h2 id="zvorotn-o-nesumisni-migratsiyi">Зворотньо несумісні міграції</h2> <p>Деякі міграції можуть бути зворотно несумісними та призвести до переривання роботи на деякий період часу між моментами коли застосовується міграція та моментом ротації докер подів. Це також буде проблемою для синьо-зеленого розгортання, якщо ви вирішите його реалізувати. Щоб уникнути такого простою, міграцію слід виконувати в 2 кроки.</p> <h2 id="uvaga">Увага</h2> <ul> <li>Використовуйте цей метод лише для перелічених нижче операцій. Цей спосіб небезпечний. Він може диссинхронізувати стан програми з БД. Ніколи не використовуйте самостійно написаний SQL. Завжди копіюйте його з команди <code>sqlmigrate</code>.</li> <li>Цей тип міграції важко повернути зі зрозумілих причин, тому будьте дуже обережні, виконуючи це.</li> <li>Виконання цієї операції без використання <code>SeparateDatabaseAndState</code> призведе до простою. Робочі версії відмовляться починати, якщо зміни внесено до моделі, але не застосовано до внутрішнього стану django.</li> </ul> <h3 id="spisok-operatsii-robliachikh-migratsiyi-zvorotn-o-nesumisnimi">Список операцій роблячих міграції зворотньо несумісними.</h3> <ul> <li><code>RemoveField</code></li> <li><code>DeleteModel</code></li> <li><code>AddField</code>, коли поле не обнуляється (в декларації поля немає <code>null=True</code>)</li> </ul> <h3 id="rishennia">Рішення</h3> <p>Створіть 2 PR і випустіть їх у 2-ї окремих релізах:</p> <h4 id="pr-vidalennia-vikoristannia">PR видалення використання</h4> <ol> <li>Видаліть усі використання поля з коду</li> <li>Зніміть поле з моделі</li> <li>Автоматично генеруйте міграцію (<code>./manage.py makemigrations your_app</code>)</li> <li>Отримайте SQL міграції (він нам знадобиться пізніше) (<code>./manage.py sqlmigrate your_app 0002_auto_20240328_1527</code>)</li> <li>Перемістіть зворотньо несумісні операції до <code>state_operations</code> в <code>SeparateDatabaseAndState</code> (приклад нижче).</li> </ol> <h4 id="pr-zmin-v-bd">PR змін в БД</h4> <ol> <li>Створіть порожню міграцію (<code>./manage.py makemigrations your_app --empty</code>)</li> <li>Знову додайте <code>SeparateDatabaseAndState</code></li> <li>Помістіть SQL, отриманого з кроку 4 попереднього PR-у, в <code>database_operations</code>. Без коментарів та транзацій.</li> </ol> <h4 id="priklad">Приклад</h4> <h5 id="avtomatichno-zgenerovana-migratsiia">Автоматично згенерована міграція:</h5> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#000000, #D4D4D4); background-color: light-dark(#FFFFFF, #1E1E1E);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#AF00DB, #C586C0);">from</span><span> django</span><span>.</span><span>db</span><span style="color: light-dark(#AF00DB, #C586C0);"> import</span><span> migrations</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span style="color: light-dark(#0000FF, #569CD6);">class</span><span style="color: light-dark(#267F99, #4EC9B0);"> Migration</span><span>(</span><span style="color: light-dark(#267F99, #4EC9B0);">migrations</span><span>.</span><span style="color: light-dark(#267F99, #4EC9B0);">Migration</span><span>)</span><span>:</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> dependencies</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> (</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">team_management</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span><span style="color: light-dark(#A31515, #CE9178);"> &#39;</span><span style="color: light-dark(#A31515, #CE9178);">0001_auto_20240319_1146</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>)</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> operations</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> migrations</span><span>.</span><span>RemoveField</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> model_name</span><span>=</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">organization</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> name</span><span>=</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">session_expiration_time</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span></code></pre><h5 id="pr-1">PR 1</h5> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#000000, #D4D4D4); background-color: light-dark(#FFFFFF, #1E1E1E);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#AF00DB, #C586C0);">from</span><span> django</span><span>.</span><span>db</span><span style="color: light-dark(#AF00DB, #C586C0);"> import</span><span> migrations</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span style="color: light-dark(#0000FF, #569CD6);">class</span><span style="color: light-dark(#267F99, #4EC9B0);"> Migration</span><span>(</span><span style="color: light-dark(#267F99, #4EC9B0);">migrations</span><span>.</span><span style="color: light-dark(#267F99, #4EC9B0);">Migration</span><span>)</span><span>:</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> dependencies</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> (</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">team_management</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span><span style="color: light-dark(#A31515, #CE9178);"> &#39;</span><span style="color: light-dark(#A31515, #CE9178);">00001_auto_20240319_1146</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>)</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> operations</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> migrations</span><span>.</span><span>SeparateDatabaseAndState</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> state_operations</span><span>=</span><span>[</span></span> <span class="giallo-l"><span> migrations</span><span>.</span><span>RemoveField</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> model_name</span><span>=</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">organization</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> name</span><span>=</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">session_expiration_time</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span></code></pre><h5 id="pr-2">PR 2</h5> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#000000, #D4D4D4); background-color: light-dark(#FFFFFF, #1E1E1E);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#AF00DB, #C586C0);">from</span><span> django</span><span>.</span><span>db</span><span style="color: light-dark(#AF00DB, #C586C0);"> import</span><span> migrations</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span style="color: light-dark(#0000FF, #569CD6);">class</span><span style="color: light-dark(#267F99, #4EC9B0);"> Migration</span><span>(</span><span style="color: light-dark(#267F99, #4EC9B0);">migrations</span><span>.</span><span style="color: light-dark(#267F99, #4EC9B0);">Migration</span><span>)</span><span>:</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> dependencies</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> (</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span style="color: light-dark(#A31515, #CE9178);">team_management</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>,</span><span style="color: light-dark(#A31515, #CE9178);"> &#39;</span><span style="color: light-dark(#A31515, #CE9178);">0002_auto_20240328_1527</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span><span>)</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span> operations</span><span> =</span><span> [</span></span> <span class="giallo-l"><span> migrations</span><span>.</span><span>SeparateDatabaseAndState</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> database_operations</span><span>=</span><span>[</span></span> <span class="giallo-l"><span> migrations</span><span>.</span><span>RunSQL</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#001080, #9CDCFE);"> sql</span><span>=</span><span>(</span></span> <span class="giallo-l"><span style="color: light-dark(#A31515, #CE9178);"> &#39;</span><span style="color: light-dark(#A31515, #CE9178);">ALTER TABLE &quot;team_management_organization&quot; DROP COLUMN &quot;session_expiration_time&quot; CASCADE;</span><span style="color: light-dark(#A31515, #CE9178);">&#39;</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span> <span class="giallo-l"><span> )</span><span>,</span></span> <span class="giallo-l"><span> ]</span></span></code></pre> 2024-02-25T13:23:17+10:00 2024-02-25T13:23:17+10:00 Igor Shtein https://shtein.me/ua/posts/flutter-gitlab-tests/ <p>Сподіваюсь цей сніпет збереже Вам і мені майбутьному 5 хвилин при наступному сетапі флатер додатку.</p> <h2 id="zd-nch-thinking">зд;нч?🤔</h2> <p>В <code>.gitlab-ci.yml</code></p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#000000, #D4D4D4); background-color: light-dark(#FFFFFF, #1E1E1E);"><code data-lang="yaml"><span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);">i</span><span style="color: light-dark(#800000, #569CD6);">mage</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> i</span><span style="color: light-dark(#0000FF, #CE9178);">nstrumentisto/flutter:latest</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);">s</span><span style="color: light-dark(#800000, #569CD6);">tages</span><span>:</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> t</span><span style="color: light-dark(#0000FF, #CE9178);">est</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);">t</span><span style="color: light-dark(#800000, #569CD6);">est</span><span>:</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> s</span><span style="color: light-dark(#800000, #569CD6);">tage</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> t</span><span style="color: light-dark(#0000FF, #CE9178);">est</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> b</span><span style="color: light-dark(#800000, #569CD6);">efore_script</span><span>:</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> e</span><span style="color: light-dark(#0000FF, #CE9178);">xport PATH=&quot;$PATH&quot;:&quot;$HOME/.pub-cache/bin&quot;</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> f</span><span style="color: light-dark(#0000FF, #CE9178);">lutter pub get</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> f</span><span style="color: light-dark(#0000FF, #CE9178);">lutter clean</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> f</span><span style="color: light-dark(#0000FF, #CE9178);">lutter pub global activate junitreport</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> f</span><span style="color: light-dark(#0000FF, #CE9178);">lutter pub global activate cobertura</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> s</span><span style="color: light-dark(#800000, #569CD6);">cript</span><span>:</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> f</span><span style="color: light-dark(#0000FF, #CE9178);">lutter test --coverage --machine | tojunit -o report.xml</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> g</span><span style="color: light-dark(#0000FF, #CE9178);">enhtml coverage/lcov.info --output=coverage</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> c</span><span style="color: light-dark(#0000FF, #CE9178);">obertura convert</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> c</span><span style="color: light-dark(#800000, #569CD6);">overage</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> &#39;</span><span style="color: light-dark(#0000FF, #CE9178);">/^\s*lines\.+: (\d+\.\d+)% .*/</span><span style="color: light-dark(#0000FF, #CE9178);">&#39;</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> a</span><span style="color: light-dark(#800000, #569CD6);">rtifacts</span><span>:</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> w</span><span style="color: light-dark(#800000, #569CD6);">hen</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> a</span><span style="color: light-dark(#0000FF, #CE9178);">lways</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> p</span><span style="color: light-dark(#800000, #569CD6);">aths</span><span>:</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> r</span><span style="color: light-dark(#0000FF, #CE9178);">eport.xml</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> c</span><span style="color: light-dark(#0000FF, #CE9178);">overage/</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> r</span><span style="color: light-dark(#800000, #569CD6);">eports</span><span>:</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> j</span><span style="color: light-dark(#800000, #569CD6);">unit</span><span>:</span></span> <span class="giallo-l"><span> -</span><span style="color: light-dark(#0000FF, #CE9178);"> r</span><span style="color: light-dark(#0000FF, #CE9178);">eport.xml</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> c</span><span style="color: light-dark(#800000, #569CD6);">overage_report</span><span>:</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> c</span><span style="color: light-dark(#800000, #569CD6);">overage_format</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> c</span><span style="color: light-dark(#0000FF, #CE9178);">oberturaz</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> p</span><span style="color: light-dark(#800000, #569CD6);">ath</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> c</span><span style="color: light-dark(#0000FF, #CE9178);">overage/cobertura.xml</span></span> <span class="giallo-l"><span style="color: light-dark(#800000, #569CD6);"> e</span><span style="color: light-dark(#800000, #569CD6);">xpire_in</span><span>:</span><span style="color: light-dark(#0000FF, #CE9178);"> 1</span><span style="color: light-dark(#0000FF, #CE9178);"> week</span></span></code></pre><h2 id="troshki-poiasnen">Трошки пояснень</h2> <p><code>- export PATH="$PATH":"$HOME/.pub-cache/bin"</code> - Потрібно аби дати змогу скрипту викликати додатки які ми встановлюємо глобально нижче.</p> <p><code>- flutter pub get</code> - Скоріш за все тобі потрібні твої пакети аби запустити тести.</p> <p><code>- flutter pub global activate junitreport</code> - <a rel="external" href="https://pub.dev/packages/junitreport">Бібліотека</a> що зконвертує результати дартовських тестів в junit формат зрозумілий Гітлабу.</p> <p><code>- flutter pub global activate cobertura</code> - <a rel="external" href="https://pub.dev/packages/cobertura">Бібліотека</a> що зконвертує звіт покриття формату <code>lcov</code>, який використовується Дартом, в <code>cobertura.xml</code> зрозумілий Гітлабу.</p> <p><code>| tojunit -o report.xml</code> - власне сама конвертація тестів. Звіт, за замовчанням, буде в <code>%project_root%/report.xml</code>, ви, звичайно ж, можете змінити це, але не забудьте тоді підправити і <code>artifacts</code>.</p> <p><code>- genhtml coverage/lcov.info --output=coverage</code> - Конвертація Дартовського звіту покриття в xml звіт. За замовчанням Дарт генерує звіт в <code>coverage/lcov.info</code>. Команда <code>genhtml</code> ж зконвертує <code>lcov.info</code> в xml зрозумілий cobertura`і. Для цього вам буде потрібен застосунок <a rel="external" href="https://packages.debian.org/search?keywords=lcov">lcov</a>. Я використовую докер імідж <a rel="external" href="https://hub.docker.com/r/instrumentisto/flutter">instrumentisto/flutter</a> який вже містить цей застосунок.</p> <p><code>cobertura convert</code> - Генерає кінцевий результат. Cobertura згенерує файл під назвою <code>cobertura.xml</code> в теці вказаній в команді, в нашому випадку це <code>%project_root/coverage/</code>.</p> <p><code>coverage: '/^\s*lines\.+: (\d+\.\d+)% .*/'</code> - Регулярка яка парсить лог и відтягує звідти загальний відсоток покриття проекту. Ця цифра буде вказана в результатах пайплайну і в графіку покриття на сторінці аналітики репозиторію. (Див. зображення нижче, але не саму цифру. Прошу 🫠) <img src="https://shtein.me/ua/posts/flutter-gitlab-tests/img/coverage_in_job.png" alt="Відсоток покриття в джобі" /> <img src="https://shtein.me/ua/posts/flutter-gitlab-tests/img/coverage_in_repo_stats.png" alt="Відсоток покриття в аналітиці репозиторію" /></p> <p>В <code>artifacts</code> ми пояснюємо гітлабу де знайти попередньо згенеровані звіти та що кожен з них містить. Зміни імена файлів тут якщо змінював їх в самих командах.</p> <p>В результаті ви отримуєте результати кожного тесту окремо в пайплайні, з розбивкою по часу який кожен тест виконується. Ну і покриття буде підсвічуватись в РМ діфі і в пайплайні також.</p>