Бывает что слейв начинает отставать от мастера, поскольку на слейве репликация прокатывается в один поток. И тут помогает (для mariadb):
https://mariadb.com/kb/en/parallel-replication/
Впрочем, был подсказан ещё вариант, менее надёжный, более быстрый (на слейве):
SET GLOBAL sync_binlog = 0; SET GLOBAL innodb_flush_log_at_trx_commit = 0;
Требования (мои) к компактному, домашнему хранилищу:
1) размеры, все коробки даже под 3.5" достаточно большие
2) поддержка m.2
3) достаточная тишина
4) полностью готовое, условный запуск в работу - максимум 10 минут от момента распаковки.
5) минимум обслуживания
6) для дома означает разумный бюджет, synology тут вообще никаким боком, разве что ежедневно мониторить авито на предмет того ds126 + не соответствие п.1 по размеру. Туда же всякие asustor
Да, есть rpi + всякие модули, типа radxa hat или вообще usb to sata конвертер или внешний сата диск, очень кастом, но требует много времени и сил - отпадает по п.4. Как и клоны rpi с набортным m.2 слотом по той же причине. Да, там много решений, но смотрим п.4 + п.5 + п.6
Что же в принципе есть?
KubeSail + pibox, под 2.5" SSD, на базе raspbian CM4, что даёт много возможностей, и да, из коробки k3s. Можно просто на свой rpi поставить pibox. Но проект выглядит полузаброшенным, а купить в рф очень проблемно
ORICO CD2510. Утилита управления называется weline, есть на телефоны.
NasCloud Angel 1 - размер минимален, но дисков не содержит вообще, как и места под них, то есть подключать надо по usb.
Да и как-то всё... дополню если что-то адекватное ещё найду.
ЗЫ был найден orico за 6к и он и был взят.
FAILED! => {"changed": false, "msg": "Error connecting: Error while fetching server API version: Not supported URL scheme http+docker"}
фикс
pip install requests==2.31.0
https://github.com/docker/docker-py/issues/3256
что-то не первый раз косяк с этим requests
https://community.aws/content/2biM1C0TkMkvJ2BLICiff8MKXS9/format-and-parse-amazon-s3-url
Суть:
есть масса форматов путей у S3, включая особенности про дефолтный регион (вне его такое не работает) - и просто не прочитав про это, можно долго думать что не так.
Если используется амазон и S3 - читать обязательно.
Оказывается, существует форк nginx: angie
Суть проблемы: nginx (почти) остановился в развитии, вкладывая основные силы в nginx plus, и масса нужных вещей, таких как предварительный опрос апстримов, толковая работа балансировки, статистика не в 3 строчки, нативные экспортеры в тот же node_exporter - извольте платить (есть несколько вариантов типа VTS, но разработчикам не нравится что их жадность обходят и не рекомендуют такое).
ЦЕНА. Тут они вообще поехали крышей, "Стоимость Nginx Plus составляет от $2500 до $5000" - в год. На каждый сервер. пример (учесть что это за 2 года). Даже западные мастодонты типа оракла более адекватные. Вообще никому не советую брать плюс. Если выкинуть поддержку 24/7 - цена этой лицензии баксов 100 максимум, тогда можно рассмотреть.
Но. Теперь можно просто перейти на angie, и сразу видим
Экспорт статистики в формате Prometheus с настраиваемыми шаблонами.
Визуальная консоль мониторинга Console Light для наблюдения за сервером через браузер. Познакомиться с онлайн-примером: https://console.angie.software/
То есть минус VTS, полностью
Режим привязки сессий, при котором все запросы в рамках одной сессии будут направляться на один и тот же проксируемый сервер.
Механизм плавного ввода проксируемого сервера в работу после сбоя с помощью опции slow_start директивы server.
То есть уже большой кусок плюса - есть. Да, это далеко не всё (смотрим сайт про Энджи про), но именно мне перекинуты очень нужные вещи. При этом если открыть раздел динамические модули, есть и инструкция по переходу с nginx, и настройка prometheus и grafana.
К большому удивлению, даже vts есть из коробки, только непонятно зачем - это по сути экспортер prometheus.
Что имеем: Docker hub перестал работать в России
Кому интересно - в комменты, там много всего.
И небольшой итог:
1) поднимаем кэш
https://docs.docker.com/docker-hub/mirror/ (2)
2) настраиваем короткие пути
https://www.redhat.com/en/blog/be-careful-when-pulling-images-short-name
3) хельмчарт как пример
https://artifacthub.io/packages/helm/docker-registry-mirror/docker-registry-mirror
4) зеркала, но без пуша, писать в /etc/docker/daemon.json, ключ "registry-mirrors": [] (подобрать сами прокси) (https://mirror.gcr.io работает у большинства)
https://gallery.ecr.aws/
https://mirror.gcr.io
https://cloud.google.com/artifact-registry/docs/pull-cached-dockerhub-images
https://daocloud.io
https://c.163.com
https://registry.docker-cn.com
5) не забываем про /etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"]
Так штатно работает например docker pull nginx
(не забываем сказать systemctl reload docker.service, если не помогло то повторяем с restart)
# ps -ef | grep defunct
sshd 2094514 2094513 0 Feb15 ? 00:00:00 [sshd] <defunct>
# ps auxww | grep ssh
root 2094513 0.0 0.1 16760 8652 ? Ss Feb15 0:00 sshd: unknown [priv]
sshd 2094514 0.0 0.0 0 0 ? Z Feb15 0:00 [sshd] <defunct>
Итак, что видим: defunct процесс (2094514) в Z state == zombie. Нужно прибить его родителя (2094513) и его отпустит, напрямую его прибить невозможно, даже с kill -9 2094514 ему ничего не будет.
В связи с неадекватностью фирмы hashicorp, творящей всякую дичь типа закрытия доступа с опенсорс (!) продуктам из рф, а также переходом на закрытые лицензии, для teraform уже есть замена opentofu, а теперь смотрим замену для vault
https://thenewstack.io/meet-openbao-an-open-source-fork-of-hashicorp-vault/
И это openbao
Впрочем, с запуском в докере/кубере там не так хорошо, если волт можно было запустить как
то образа openbao/openbao на данный момент не существует, а их дока на попытку получить хельм даёт 404, что странно и печально, форк прошлого года.
Автоматический перезапуск решается штатно, через Restart=always или более правильное Restart=on-failure. Помним про дополнительные StartLimit* итд для постоянного рестарта при нескольких неудачах.
Вопрос сложнее - чем заменить numprocs из supervisor. Мне удалось найти только 1 вариант, через имя с @
https://unix.stackexchange.com/questions/288236/have-systemd-spawn-n-processes
Ну и логи иногда нужны в файлах, тогда есть
StandardOutput=/path_to_log/service.log
StandardError=/path_to_log/service_error.log
Может быть =syslog, тогда будет пойдёт через подсистему рсислога (+ SyslogIdentifier=)
Ну и помним про "костыль" вида ExecStart=aaa >/var/log/1 2>&1
ansible -m debug --args 'msg={{ lookup("password","/tmp/123") }}' localhost
Но перезапуск даст тот же пароль, это и хорошо и плохо, потому что в этот файл тоже запишет пароль. Сгенерить без следов:
ansible -m debug --args 'msg={{ lookup("password","/dev/null") }}' localhost
Если вкратце:
1) делаем сервис с Type=OneShot
2) делаем таймер, который запускает этот сервис
Более подробно и примеры
https://opensource.com/article/20/7/systemd-timers
Строка запуска раз в минуту будет такой:
OnCalendar=*-*-* *:*:00
PS команда для быстрого создания сервиса без возни с файлами:
systemctl edit --full --force cron.service
Вопрос, есть ли в этом смысл... А за такие деньги точно не имеет смыла. Хотя взять только водоблоков несколько, и комплект помпа-колба-радиатор_120 от того же barret - будет недорого.
https://www.seeedstudio.com/ICE-Pump-Cooling-Block-for-Raspberry-Pi-5-p-5865.html
https://aliexpress.ru/item/1005006517592568.html
https://52pi.com/products/ice-pump-cooling-system-for-raspberry-pi-5
https://www.jeffgeerling.com/blog/2024/water-cooling-overkill-pi-5
openmediavault is the next generation network attached storage (NAS) solution based on Debian Linux. It contains services like SSH, (S)FTP, SMB/CIFS, RSync and many more ready to use.
https://www.openmediavault.org/
Можно поднять на rpi 5
https://www.youtube.com/watch?v=l30sADfDiM8
нужен Radxa Penta SATA HAT (прямой линк)
Можно ещё с Radxa ROCK * завести, но там другой комплект нужен скорее всего.. как минимум другой кабель к плате будет.
Казалось бы, уже давно отработанный механизм с .ssh/authorized_keys в случае амазона ВДРУГ дал сбой. Вдруг - потому что ещё несколько лет назад этой ПРОБЛЕМЫ не было.
Смотрим /var/log/auth.log и видим там крайне сомнительные строки
AuthorizedKeysCommand /usr/share/ec2-instance-connect/eic_run_authorized_keys username SHA256:ecphulTPPp7xHnSCVkuQH2fcXemYKjT8xFftheRDz+s failed, status 22
Но секрет прост: кто-то "переиграл в безопасность" и
# apt show ec2-instance-connect
...
Description: Configures ssh daemon to accept EC2 Instance Connect ssh keys
EC2 Instance Connect is a service that publishes ssh keys for use by EC2
instances based on AWS Credentials. These keys are consumed by on-instance
configuration provided by this package. The ssh daemon will query EC2
Instance Metadata service for user-keys at ssh calltime, validate any if
present as well as validating their signature, and if all checks pass return
will include them in the authorized keys list.
Фикс версия 1:
apt remove ec2-instance-connect
systemctl restart sshd
Фикс версия 2:
rm /usr/lib/systemd/system/ssh.service.d/ec2-instance-connect.conf
systemctl daemon-reload
И ещё немного почитать
https://github.com/widdix/aws-ec2-ssh/issues/157
И причина:
ExecStart=/usr/sbin/sshd -D -o "AuthorizedKeysCommand /usr/share/ec2-instance-connect/eic_run_authorized_keys %%u %%f" -o "AuthorizedKeysCommandUser ec2-instance-connect" $SSHD_OPTS
Убунта (а может и не только она) начала что-то мутить и творить мурню:
userauth_pubkey: key type ssh-rsa not in PubkeyAcceptedAlgorithms [preauth]
Фикс несложный, но при нормально отключенной авторизации по паролям надо будет ещё найти как попасть на сервер... Итак: