Feature add render.com support #678

qsimpleq · 2023-09-23T16:42:33Z

https://qsimpleq-hexlet-cv.onrender.com

qsimpleq · 2023-09-23T17:00:14Z

Всё работает.

Нужно протестировать руками выползающие ошибки, при наличии доступа к платному варианту render.com, т.к. там есть доступ к консоли.

Заниматься отладкой вслепую я устал уже

fey · 2023-09-25T10:30:16Z

Gemfile

@@ -44,6 +44,7 @@ gem 'devise-i18n'
 gem 'dotenv-rails'
 gem 'dry-container'
 gem 'enumerize'
+gem 'faker', require: false


@usernaimandrey посмотри, плз.

Вероятно нам фейкер не нужен для прода. А прод у нас по сути только один. Рендер все еще дев/стейдж окружение. Может быть просто будем ставить дев+прод зависимости?

Да faker не нужен, мы же деплоим это herocku, а туда лишний ненужный гем незачем тащить, он же нужен только для render, cчитаю что это можно просто указать в описание в REDME, что для загрузки фикстур нужен этот гем.

fey · 2023-09-25T10:31:59Z

bin/render_lib.sh

+  export DOTENV_FILE='/etc/secrets/env'
+  if [ -f "$DOTENV_FILE" ]; then export $(sed '/^\s*$/d; /^[[:space:]]*#/d' "$DOTENV_FILE"); fi
+  cd $current_dir
+}


а для чего вот это? В рендер можно использовать обычные переменные окружения.

Можно свой .env файл загрузить просто и не мучаться с этими переменными

да там и так, и через web интерфейс можно их натыкать, но через скрипт меньше ручной работы, тем более .env автоматом генерируется, главное чтобы не забыли в нем значения прописать

fey · 2023-09-25T10:34:22Z

Вообще рендер это еще не прод окружение. Задача деплоя на рендер пока что - показать как выглядят наши изменения.
Поэтому можно использовать. Плюс вижу, что используются сиды, но они нам не особо нужны, тк есть фикстуры.
Попрошу @usernaimandrey глянуть изменения.

Главные сомнения у меня по поводу фейкера

qsimpleq · 2023-09-25T10:38:53Z

Вообще рендер это еще не прод окружение. Задача деплоя на рендер пока что - показать как выглядят наши изменения. Поэтому можно использовать. Плюс вижу, что используются сиды, но они нам не особо нужны, тк есть фикстуры. Попрошу @usernaimandrey глянуть изменения.

Главные сомнения у меня по поводу фейкера

Фикстуры не грузятся без фейкера
На базах render стоит запрет на отключение constraints, поэтому проваливается залив фикстур напрямую
Из-за этого мне пришлось в seeds указывать порядок заливки фикстур, чтобы наполнить базу

usernaimandrey · 2023-09-25T11:34:21Z

Вообще рендер это еще не прод окружение. Задача деплоя на рендер пока что - показать как выглядят наши изменения. Поэтому можно использовать. Плюс вижу, что используются сиды, но они нам не особо нужны, тк есть фикстуры. Попрошу @usernaimandrey глянуть изменения.

Главные сомнения у меня по поводу фейкера

@fey про фейкер я отписал, а Кирилл прав без сидов фикстуры не загрузишь, команда bin/rails db:fixtures:load с ошибкой падает

qsimpleq · 2023-09-25T12:59:16Z

Всё, с faker подправил и чутка README обновил

fey · 2023-09-25T13:05:54Z

@fey про фейкер я отписал, а Кирилл прав без сидов фикстуры не загрузишь, команда bin/rails db:fixtures:load с ошибкой падает

а что пишет? А мы можем данные предварительно загрузить, например локально, передав урл базы данных?

Например DATABASE_URL='' make prepare-db

Может еще ребят позвать, спросить, как еще можно сделать.

qsimpleq · 2023-09-25T13:36:53Z

@fey про фейкер я отписал, а Кирилл прав без сидов фикстуры не загрузишь, команда bin/rails db:fixtures:load с ошибкой падает

а что пишет? А мы можем данные предварительно загрузить, например локально, передав урл базы данных?

Например DATABASE_URL='' make prepare-db

Может еще ребят позвать, спросить, как еще можно сделать.

#660 (comment)

Там ничего не сделать - в базе нет прав на отключение триггеров, которые гасятся, чтобы проигнорить constraints

В дополнительном шаге из генерации дампа базы не вижу смысла - больше проблем и боли новичкам будет, кмк

Порешал проблему так https://github.com/qsimpleq/hexlet-cv/blob/cec534c81feb63150e4d5a9861ffb5eba6ad5031/bin/render-build.sh#L10C1-L12C46

fey · 2023-09-25T13:53:08Z

Пока задал вопросам ребятам-разработчикам. Может быть они подскажут, как лучше.
В других проектах (например hexlet-sicp) не используются фикстуры, а сиды, либо подгружаются реальные данные.

qsimpleq · 2023-09-25T14:03:27Z

Пока задал вопросам ребятам-разработчикам. Может быть они подскажут, как лучше. В других проектах (например hexlet-sicp) не используются фикстуры, а сиды, либо подгружаются реальные данные.

Важный момент, ещё раз. На бесплатном плане нет доступа к консоли, так что приколачивать rake таски или что-то такое - бесполезно.

Можно добавить ещё одну переменную окружения в seeds, в зависимости от которой будут грузиться фикстуры или реальные данные на render.com вот и всё)

if ENV['RENDER']&.to_i&.positive? && ENV['RENDER_LOAD_FIXTURES']&.to_i&.positive?
  require_relative 'seeds/render_load_fixtures'
  render_load_fixtures
end

usernaimandrey · 2023-09-25T14:20:47Z

Пока задал вопросам ребятам-разработчикам. Может быть они подскажут, как лучше. В других проектах (например hexlet-sicp) не используются фикстуры, а сиды, либо подгружаются реальные данные.

О каких реальных данных идет речь и откуда они подгружаются?

fey · 2023-09-25T17:20:41Z

О каких реальных данных идет речь и откуда они подгружаются?

в hexlet-sicp есть сиды, но там не проблема поднять приложение в дев-режиме.

в hexlet-friends подгружаются данные с github, т.е. нет потребности генерить тестовые данные

usernaimandrey · 2023-09-25T19:36:12Z

@fey про фейкер я отписал, а Кирилл прав без сидов фикстуры не загрузишь, команда bin/rails db:fixtures:load с ошибкой падает

а что пишет? А мы можем данные предварительно загрузить, например локально, передав урл базы данных?

Например DATABASE_URL='' make prepare-db

Может еще ребят позвать, спросить, как еще можно сделать.

да особо ни чего не пишет, просто на этой команде падает

qsimpleq · 2023-09-25T19:59:09Z

Проблема тут. Писал выше уже

qsimpleq · 2023-09-26T13:36:24Z

@fey, если пока молчат, то предлагаю мой вариант выбрать #678 (comment)

Он никак не повлияет на сиды, если потребуются реальные данные в будущем,
а для развёртывания на render - удобный при этом

fey · 2023-09-26T13:37:15Z

@corsicanec82 Стас, можешь посмотреть, пожалуйста, ПР? Может все ок и я зря переживаю.

fey · 2023-09-27T07:07:06Z

@qsimpleq обсудили. Добавляем новый енв, стейджинг, который будет использовать постгрес и будет в принципе деплоиться на рендере и подобных сервисах.
Туда мы можем положить и фейкер и другие штуки. Т.е. нужно добавить конфиг под новое окружение + можно в гемфайле указать, чтобы фейкер ставился для staging. Собственно на проде фейкер нам не нужен, а стейдж - в самый раз

https://ru.hexlet.io/blog/posts/environment

qsimpleq · 2023-09-27T10:27:15Z

В принципе всё готово

qsimpleq · 2023-10-03T17:17:02Z

ping

dzencot · 2023-10-10T09:13:12Z

Коля пока в отпуске. На следующей неделе выйдет. Предлагаю дождаться его.

qsimpleq · 2023-10-10T09:24:13Z

Ок

fey · 2023-10-16T10:20:38Z

Еще раз пинганул ребят, глянуть ПР. К сожалению, без еще одного разработческого ревью, не смогу просто так смержить.

ola-9 · 2023-10-23T10:47:55Z

@fey напоминаю :)

fey · 2023-10-23T10:55:22Z

в ММ ответил, здесь продублирую. @usernaimandrey проверял шаги, но где-то что-то пошло не так. В общем, ПР щас находится в работе у ребят. Они отпишутся по апдейтам.

usernaimandrey · 2023-10-24T07:24:51Z

README.md

+* Go to YOUR_CUSTOM_NAME_PG PostgreSQL -> Info and copy `Internal Database URL`
+
+* Go to YOUR_CUSTOM_NAME_CV app -> Environment
+    * Environment Variables, by one\


Привет! Извини что так долго не приходили! вот здесь все таки стоит указать набор пременных окружения не обходимых для деплоя, если человек их будет через web интерфейс
EMAIL_FROM= любой email существующий в базе
EMAIL_SPECIAL_USER= любой email существующий в базе
HABR_ACCESS_TOKEN = любой набор символо
HOST= адрес хоста который выдается на рендере без указания протокола

еще надо бы добавить что пред деплоем нало сконфигурировать файл puma.rb для рендер, например как это описанно здесь https://render.com/docs/deploy-rails

На бесплатном варианте нет доступа к консоли. Поэтому нужно все эти правки сразу в код вносить (я про puma.rb)

Переменные желательно всё же вынести в отдельный блок документации и нормально описать все имеющиеся.

А тут я перечислил только те, что необходимы для запуска на render.com

Конкретно для Render.com я бы вынес необходимое в конфиге puma.rb в блок

if ENV['RENDER'].present? pidfile ENV.fetch("PIDFILE") { "tmp/pids/server.pid" } workers ENV.fetch("WEB_CONCURRENCY") { 4 } preload_app! end

А тут я перечислил только те, что необходимы для запуска на render.com

а без переменной HOST будет возможен запуск?) изначально когда генерится env там HOST=localhos, человек который будет разворачивать ее допустим не установит и у него при переходе по адресу который сгенерит рендер будет localhos открыватся

EMAIL_SPECIAL_USER - без вот этой пременной главня страница упадет с ошибкой,

HABR_ACCESS_TOKEN - без вот этой деплой упадет

Переменные желательно всё же вынести в отдельный блок документации и нормально описать все имеющиеся.

все в ваших руках это opensource)))

Конкретно для Render.com я бы вынес необходимое в конфиге puma.rb в блок

if ENV['RENDER'].present? pidfile ENV.fetch("PIDFILE") { "tmp/pids/server.pid" } workers ENV.fetch("WEB_CONCURRENCY") { 4 } preload_app! end

да можно так

Да, без HOST не запустится. Всё верно, это я уже поправил.

Я имел ввиду вынести описание всех используемых переменных окружения в отдельный блок README
Незачем их в деплое для render описывать

так я не предлагаю все только те что не обходимы для деплоя

README.md

bin/render-build.sh

usernaimandrey · 2023-10-24T07:28:12Z

и еще я не увидел конфигурационный файл render.yml, он не нужен? без него задеплоится?

qsimpleq · 2023-10-24T07:42:14Z

Он предназначен для Blueprint только, и не нужен при обычном деплое.

usernaimandrey · 2023-10-24T07:49:19Z

Он предназначен для Blueprint только, и не нужен при обычном деплое.

вообще как альтернативный вариант деплоя, но так как у нас немного другой путь то тогда да согласен

qsimpleq · 2023-10-24T13:24:38Z

Внёс изменения, сейчас всё красиво должно быть

На данный момент это уже достаточно безболезненный способ деплоя

usernaimandrey · 2023-10-24T19:13:50Z

bin/render-start.sh

+# exit on error
+set -o errexit
+
+source "$(dirname $0)/render_lib.sh" && load_dotenv_file


еще подскажи если тот кто будет деплоить добавит прерменные через web интерфейс этот запуск сработает?

Только если добавит файл с переменными там же в интерфейсе

я думаю об этом надо было сказать и команду для старта прописать

Только если добавит файл с переменными там же в интерфейсе

вот тут не понял, знаю что там можно файлик подгрузить через интерфейс рендера, а твоим способом он как то по другому попадет?

Файлы там складируются по пути /etc/secrets/filename, оттуда и загружаю

Файлы там складируются по пути /etc/secrets/filename, оттуда и загружаю

так они там просто так же не берутся), их туда загрузить тот кто деплоит, а по инструкции это не очень понятно

Может сегодня напрямую спишемся минут на 5?

Да можно, но только давай уже завтра можешь меня mattermost найти @farmacevt

usernaimandrey · 2023-10-24T19:46:21Z

config/environments/production.rb

@@ -22,7 +22,7 @@

  # Disable serving static files from the `/public` folder by default since
  # Apache or NGINX already handles this.
-  config.public_file_server.enabled = ENV['RAILS_SERVE_STATIC_FILES'].present?
+  config.public_file_server.enabled = ENV['RAILS_SERVE_STATIC_FILES'].present? || ENV['RENDER']&.to_i&.positive?


можно просто ENV['RENDER'].present?, она же либо есть либо нет

usernaimandrey · 2023-10-24T19:46:55Z

config/puma.rb


 # Specifies the `environment` that Puma will run in.
 #
 environment ENV.fetch('RAILS_ENV', 'development')

+if ENV['RENDER']&.to_i&.positive?


ENV['RENDER'].present?

Перестраховаться и чтобы на 0 не реагировало, когда локально тестирую.

Мне нужно

Перестраховаться и чтобы на 0 не реагировало, когда локально тестирую.

ну там 0 не будет она либо есть либо nil

Мне нужно

то что тестируется локально не обязательно же в репозитории должно быть

usernaimandrey · 2023-10-24T19:49:49Z

db/seeds.rb

@@ -7,3 +7,8 @@
 #
 #   movies = Movie.create([{ name: 'Star Wars' }, { name: 'Lord of the Rings' }])
 #   Character.create(name: 'Luke', movie: movies.first)
+
+if Rails.env.staging? && ENV['RENDER']&.to_i&.positive? && ENV['RENDER_LOAD_FIXTURES']&.to_i&.positive?


я думаю мы это будем использовать только на рендере и только на staging
if Rails.env.staging? && ENV['render'].present? будет достаточно

Отладка варианта production на рендер, как вариант, но можно и убрать

This reverts commit 776852d.

qsimpleq · 2023-10-25T16:27:00Z

Может переоткрыть PR, а то через сутки после закрытия это сделать уже нельзя, если мне память не изменяет.

qsimpleq · 2023-10-25T16:40:48Z

Или лучше новый открыть, где я историю почищу?

fey · 2023-10-25T17:49:07Z

@usernaimandrey а чего ревертнули?

qsimpleq · 2023-10-25T17:52:56Z

Hexlet-cv лёг) ср, 25 окт. 2023 г., 22:49 Nikolay Gagarinov ***@***.***>:

…

@usernaimandrey <https://github.com/usernaimandrey> а чего ревертнули? — Reply to this email directly, view it on GitHub <#678 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AALWC3KPJD63G2BSDKNXXW3YBFGJ5AVCNFSM6AAAAAA5EJXXF6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTONZZG43DQMZTGY> . You are receiving this because you were mentioned.Message ID: ***@***.***>

usernaimandrey · 2023-10-25T19:17:57Z

@usernaimandrey а чего ревертнули?

@fey он посде деплоя упал с 503

qsimpleq · 2023-10-25T19:21:57Z

Тут мой косяк, честно

Почему и просил подебажить ветку с платного аккаунта render

Я устал разбираться вслепую

fey · 2023-10-27T10:32:28Z

@qsimpleq тут будете продолжать разбираться с настрокой делоя? Или пока оставляете другим (Нам? :D) и беретесь за другую задачку?)

qsimpleq · 2023-10-27T11:59:45Z

Работа идёт)

Вернулся к задаче

qsimpleq mentioned this pull request Sep 23, 2023

Add admin vacancies on moderation #677

Merged

qsimpleq added 2 commits September 25, 2023 13:33

Drop broken migrations

31d4ea8

Add support of deploy to render.com

218082c

qsimpleq force-pushed the feature-add-render.com-support branch from 9af82a5 to 218082c Compare September 25, 2023 08:34

fey reviewed Sep 25, 2023

View reviewed changes

Add staging env

9d32089

qsimpleq force-pushed the feature-add-render.com-support branch from 166902a to 9d32089 Compare September 27, 2023 10:25

fey requested a review from corsicanec82 September 27, 2023 14:39

usernaimandrey reviewed Oct 24, 2023

View reviewed changes

README.md Show resolved Hide resolved

usernaimandrey reviewed Oct 24, 2023

View reviewed changes

bin/render-build.sh Outdated Show resolved Hide resolved

qsimpleq added 2 commits October 24, 2023 18:15

Update configs and scripts for render.com deploy

2e30eae

Update README.md

5573bbf

usernaimandrey reviewed Oct 24, 2023

View reviewed changes

Cosmetic fixes for render.com deploy

a3397c1

usernaimandrey merged commit 776852d into Hexlet:main Oct 25, 2023
1 check passed

usernaimandrey added a commit that referenced this pull request Oct 25, 2023

Revert "Feature add render.com support (#678)"

cf85016

This reverts commit 776852d.

qsimpleq mentioned this pull request Oct 28, 2023

Feature add render.com support2 #685

Merged

Feature add render.com support #678

Feature add render.com support #678

Conversation

qsimpleq commented Sep 23, 2023

qsimpleq commented Sep 23, 2023

fey Sep 25, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

fey commented Sep 25, 2023

qsimpleq commented Sep 25, 2023 • edited Loading

usernaimandrey commented Sep 25, 2023 • edited Loading

qsimpleq commented Sep 25, 2023 • edited Loading

fey commented Sep 25, 2023

qsimpleq commented Sep 25, 2023 • edited Loading

fey commented Sep 25, 2023

qsimpleq commented Sep 25, 2023 • edited Loading

usernaimandrey commented Sep 25, 2023

fey commented Sep 25, 2023 • edited Loading

usernaimandrey commented Sep 25, 2023

qsimpleq commented Sep 25, 2023 • edited Loading

qsimpleq commented Sep 26, 2023 • edited Loading

fey commented Sep 26, 2023

fey commented Sep 27, 2023

qsimpleq commented Sep 27, 2023

qsimpleq commented Oct 3, 2023

dzencot commented Oct 10, 2023

qsimpleq commented Oct 10, 2023

fey commented Oct 16, 2023

ola-9 commented Oct 23, 2023

fey commented Oct 23, 2023

Choose a reason for hiding this comment

qsimpleq Oct 24, 2023 • edited Loading

Choose a reason for hiding this comment

qsimpleq Oct 24, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

usernaimandrey Oct 24, 2023 • edited Loading

Choose a reason for hiding this comment

usernaimandrey commented Oct 24, 2023

qsimpleq commented Oct 24, 2023

usernaimandrey commented Oct 24, 2023

qsimpleq commented Oct 24, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

qsimpleq Oct 24, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

qsimpleq commented Oct 25, 2023

qsimpleq commented Oct 25, 2023

fey commented Oct 25, 2023

qsimpleq commented Oct 25, 2023 via email

usernaimandrey commented Oct 25, 2023

qsimpleq commented Oct 25, 2023

fey commented Oct 27, 2023

qsimpleq commented Oct 27, 2023

fey Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 25, 2023 •

edited

Loading

usernaimandrey commented Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 25, 2023 •

edited

Loading

fey commented Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 25, 2023 •

edited

Loading

qsimpleq commented Sep 26, 2023 •

edited

Loading

qsimpleq Oct 24, 2023 •

edited

Loading

qsimpleq Oct 24, 2023 •

edited

Loading

usernaimandrey Oct 24, 2023 •

edited

Loading

qsimpleq commented Oct 24, 2023 •

edited

Loading

qsimpleq Oct 24, 2023 •

edited

Loading