так, памятка чтобы системд вечно рестартил сервис
Необходимо, но не достаточно restart=always :
The default limit is to allow 5 restarts in a 10sec period. If a service goes over that threshold due to the Restart= config option in the service definition, it will not attempt to restart any further.
The rates are configured with the StartLimitIntervalSec= and StartLimitBurst= options and the Restart= option controls when SystemD tries to restart a service.
Проблемы только на Ubuntu16 и ниже.
apt install -y python3-pip
pip3 install --upgrade pip
После предыдущего шага pip сломается, нужно переустановить из скрипта
curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py; python3 get-pip.py --force-reinstall
Нужно переподключиться, чтобы подтянулись новые енвы.
pip3 install --upgrade --force-reinstall docker
pip3 install docker-compose
Если на предыдущем шаге ломается с ошибкой установки cffi : "fatal error: ffi.h: No such file or directory"
apt install libffi-dev
еще раз:
pip3 install docker-compose
https://maximorlov.com/docker-compose-syntax-volume-or-bind-mount/
https://docs.docker.com/storage/
Есть 4 вида "внешнего" хранения: volume, bind, tmpfs, named pipes. Обычно используются первые три, но tmpfs это "диск в памяти" - место ограничено рам, при перезагрузке очищается.. для чего-то временного. А вот для постоянного хранения - первые два. И разницы на самом деле не так много, volume можно управлять через docker volume, и описывать в конфиге как new_volume:/app/data. При этом, если указать в первой части полный путь, то если нет такого файла/каталога то будет создан каталог, если есть то просто подцепит. Если путь не полный то будет в /var/lib/docker/volumes/, а если первую часть (имя опустили) то /.../some_uuid. Но инфу можно получить через docker volume ls
В случае бинда всё проще, создаётся обычный mount bind, если каталога нет - будет ошибка, плюс если это не RO вольюм то его обязательно описывать ещё и в главном блоке в отдельном volume, иначе будет ошибка. Так же, данный вид более опасен тем, что можно примонтировать например /etc
Типовой редирект в nginx (нужен например для сео, чтобы одна страница не открывалась по двум урлам)
rewrite ^/(.*)/$ /$1 permanent;
Но иногда нужно пропустить отдельные пути, например /api/...
Оказывается, можно это сделать красиво и элегантно
rewrite ^(/(?!api/).*)/$ $1 permanent;
(но чаще слэши добавляются, читать про browsing context)
Когда-то может понадобиться mysql proxy. Была версия "официальная", которая так и называлась, но в репе последнее обновление 8 лет назад - по факту оно мертво.
Была найдена живая замена: https://github.com/sysown/proxysql/
После установки по README подключаться так
$ mysql -u admin -padmin -h 127.0.0.1 -P6032 --prompt='Admin> 'Есть в докере, например proxysql/proxysql, percona/proxysql
Мониторинг:
Интегрировать будем с графаной, и например, можно взять proxysql-exporter (или proxysql-grafana-prometheus - нужно ставить и проверять), но в целом есть такое
https://proxysql.com/documentation/backend-monitoring/
Что почитать:
ProxySQL — еще один mysql-proxy
Оптимизация запросов MySQL с помощью кеширования ProxySQL в Ubuntu 16.04 (по названию конечно старое, но дока за 2020, плюс там важны "азы")
https://mydbops.wordpress.com/2020/01/30/monitoring-mysql-using-proxysql/
(вообще на этом сайте много полезных статей про proxysql)
Есть и какая-то интеграция с реликом, другой вопрос кому он нужен при таких ценах..
https://newrelic.com/blog/how-to-relic/how-to-monitor-mysql
PS
Впрочем, можно и свой прокси написать, например как тут
У herzner например есть cloud, и там вполне внятное апи. Но вот к физическим серверам (которые robot) - найти не удалось... подкинули ссылку
https://docs.hetzner.com/robot/dedicated-server/robot-interfaces/
Описание
https://robot.hetzner.com/doc/webservice/en.html#preface
и для питона там есть.. чья-то левая репа. Могли бы хоть для приличия себе склонировать и синхронизироваться.
https://github.com/aszlig/hetzner
Требуется предоставить логин-пароль, что возможно не всегда. Ломается при включенном 2fa.
PS есть https://robot.hetzner.com/doc/webservice/en.html#get-ip
1) git clone https://github.com/G-Core/gcore-dns-certbot-plugin
2) https://accounts.edgecenter.ru/profile/api-tokens
и добавляем токен, на данный момент достаточно уровня User
3) cd gcore-dns-certbot-plugin
vim gcore.ini
# G-Core API token used by Certbot dns_gcore_apitoken = 000xxx
4)
sed -i'' -e 's/gcorelabs.com/edgecenter.ru/g' certbot_dns_gcore/api_gcore.py
ИЛИ
dns_gcore_api_url = https://api.edgecenter.rucertbot certonly --authenticator dns-gcore --dns-gcore-credentials=./gcore.ini -d 'example.com'certbot renew --authenticator dns-gcore --dns-gcore-credentials=./gcore.iniРечь о той версии, которая pip install python-netbox (потому что их несколько)
Держим под рукой доку https://demo.netbox.dev/api/docs/ (можно на свой ипам открыть, /api/docs)
Как быстро запустить нетбокс в докере?
docker run -ti netboxcommunity/netbox
Но... оно не запустится. Потому что базы нет. И редиса, по хорошему. И конфигов..
Поэтому правильнее так
git clone -b release https://github.com/netbox-community/netbox-docker.git
Далее читаем про docker-compose.override.yml - в частности, нужно настроить правильный проброс портов nginx, это есть в доке
https://hub.docker.com/r/netboxcommunity/netbox
оно же
https://github.com/netbox-community/netbox-docker
И
docker-compose pull docker-compose up
Понадобилось распарсить сайт хецнера для netbox, выбор пал на python+bs4
from bs4 import BeautifulSoup
>>> print(parsed.head.title)
<title>Hetzner Online GmbH - Robot</title>
Вроде, несложно. Глянем заголовки meta
>>> print(parsed.head.meta)
<meta content="width=device-width, initial-scale=1, shrink-to-fit=no" name="viewport"/>
И.. всё? Бага, их там много. Но нужно запросить через find_all
>>> parsed.find_all('meta')
Выберет меты по всей доке и выдаст массивом. Также, можно например так найти див с классом box_wide
>>> servers = parsed.findAll('div', class_='box_wide')
Можно запросить поле из тэга, например - итог запроса выше присвоили переменной и дальше через for server in servers при такой записи тэга <div class="box_wide" id="555">
>>> server.get('id')
Задача - скопировать таблицы из одной базы в другую, поменяв имя таблиц (добавить префикс). Можно сделать через mysqldump | sed | mysql, а можно так:
Первое заполнение можно сделать примерно так
SELECT concat('CREATE TABLE maindb.', TABLE_NAME, ' LIKE tmpdb.', TABLE_NAME, ';') FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'tmpdb';
SELECT concat('INSERT INTO maindb.', TABLE_NAME, ' SELECT * FROM tmpdb.', TABLE_NAME, ';') FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'tmpdb';
Но.. надо сохранить вывод в файл (например через mysql -b -e '...' > tmp.sql) и выполнить, а можно прямо в консоли mysql, будет дальше.
Без временного файла это будет выглядеть так
T1=$(mysql -b -s -r -e "SELECT concat('CREATE TABLE maindb.prefix_', TABLE_NAME, ' LIKE tmpdb.', TABLE_NAME, ';') FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'tmpdb';")
mysql -e "$T1"
T2=$(mysql -b -s -r -e "SELECT concat('INSERT INTO maindb.prefix_', TABLE_NAME, ' SELECT * FROM tmpdb.', TABLE_NAME, ';') FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'tmpdb';")
mysql -e "$T2"
Но, заполнили первый раз базу, обновляем - а теперь нужно сначала удалить все старые таблицы.
https://phoenixnap.com/kb/mysql-drop-table
(нюанс: мария 10.5 - не работает select * FROM information_schema.tables WHERE @schema = database(); - нужно убрать @schema = database(); )
За что я ненавижу убунту...
Ubuntu 21.10 - это далеко не EoL.
apt update
E: The repository 'http://archive.ubuntu.com/ubuntu impish Release' does not have a Release file.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
E: The repository 'http://archive.ubuntu.com/ubuntu impish-updates Release' does not have a Release file.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
E: The repository 'http://archive.ubuntu.com/ubuntu impish-security Release' does not have a Release file.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
E: The repository 'http://archive.ubuntu.com/ubuntu impish-backports Release' does not have a Release file.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
Нужно править /etc/sources.list и менять там какую-то ботву. В не-еол продукте! В той же центоси такой маразм начиная с 5 версии приходилось делать ровно 0 раз. А тут года не прошло. Уроды криворукие.
Для большинства баян, но.. если стоит очень старая система и не принимает даже валидные LE серты
curl: (60) SSL certificate problem: certificate has expired
sudo apt install -y ca-certificates
sudo sed -i '/^mozilla\/DST_Root_CA_X3.crt$/ s/^/!/' /etc/ca-certificates.conf
sudo update-ca-certificates