proxmox: TASK ERROR: memory size (65536) must be aligned to 2048 for hotplugging

 Есть у проксмокса странная бага

TASK ERROR: memory size (65536) must be aligned to 2048 for hotplugging

Фикс: в /etc/modprobe.d/vhost.conf

options vhost max_mem_regions=509

и ребут. Должно поднять лимит до 4Тб

buildah запуск

 Если хочется поиграться с buildah, самый быстрый вариант запуска

docker run -ti --rm --security-opt seccomp=unconfined --privileged quay.io/buildah/stable bash

Это именно поиграться, но запустить там buildah bud . (предварительно создав Dockerfile например с одной строкой FROM alpine:latest) - достаточно.

А вообще нужно добавить ещё несколько вещей для нормальной работы и если в gitlab собирать то нужны минимум такие строки

  variables:
    STORAGE_DRIVER: vfs
    BUILDAH_FORMAT: docker
    BUILDAH_ISOLATION: chroot

Если запускать в кубере, то и этого мало, там ещё нужно

[runners.kubernetes.pod_annotations] "container.apparmor.security.beta.kubernetes.io/build" = "unconfined"

Далее (как раз --security-opt seccomp=unconfined применили в начале)

• Docker: Add "seccomp-profile": "unconfined" to /etc/docker/daemon.json or use --security-opt seccomp=unconfined when running the container.
• GitLab Runner: In runners.docker section of config.toml, set security_opt = ["seccomp:unconfined"].

Что ещё почитать:

Рекомендации по запуску Buildah внутри контейнера

utorial: Use Buildah in a rootless container with GitLab Runner Operator on OpenShift

docker build + secrets

 При сборке образов можно получить предупреждение SecretsUsedInArgOrEnv Potentially sensitive data should not be used in the ARG or ENV commands
https://docs.docker.com/reference/build-checks/secrets-used-in-arg-or-env/
И там же дока, как надо (docker build --secret)
https://docs.docker.com/build/building/secrets/

multistaging terraform примеры

 Когда появляется несколько контуров, хочется переиспользовать общие шаблоны, и рисуется примерно такая структура

Как с помощью Terraform создавать различные окружения

Kaniko deprecated

 Kaniko официально всё

https://github.com/woodpecker-ci/woodpecker/issues/5358

https://docs.gitlab.com/ci/docker/using_kaniko/

kaniko is no longer a maintained project. For more information, see issue 3348. Use Docker to build Docker images, Buildah, Podman to run Docker commands, or Podman with GitLab Runner on Kubernetes instead.

Kubernetes: что такое операторы, зачем они нужны и почему без них не обойтись?

 

Kubernetes: что такое операторы, зачем они нужны и почему без них не обойтись?

В Kubernetes оператор (Operator) — это метод расширения функциональности кластера для управления сложными stateful-приложениями (такими как базы данных, очереди сообщений и другие системы с состоянием).

Операторы автоматизируют задачи, которые обычно выполняет администратор, используя пользовательские контроллеры (Custom Controllers) и пользовательские ресурсы (Custom Resource Definitions, CRD).

docker не стартует, одна из причин

failed to start daemon: failed to dial "/run/containerd/containerd.sock": Unavailable: connection error: desc = "transport: Error while dialing: dial unix:///run/containerd/containerd.sock: timeout"

Проблема оказалась крайне не очевидной:

journalctl -u containerd -n 100

 containerd[379849]: containerd: failed to load TOML: /etc/containerd/config.toml: (37, 2): duplicated tables

(дважды добавили блок с прокси), устранили - заработало

Запуск opentofu (под яндекс)

 Увы, хороший изначально замысел сделать форк terraform тоже оказался "политизированным" и стал творить дичь в 2024, с ограничениями доступа и удалениями провайдеров из баз. Причём это прямо нарушает позицию "вне политики, вне ограничений", но кого это волнует..

Но используем что есть, ТФ использовать это совсем уже печальный вариант.

1) Установка

https://opentofu.org/docs/intro/install/deb/

2) обход маразмов

Делаем .tofurc с содержимым как для тф (они совместимы, пока?)

cat << 'EOF' >> ~/.tofurc
provider_installation {
  network_mirror {
    url = "https://terraform-mirror.yandexcloud.net/"
    include = ["registry.terraform.io/*/*"]
  }
  direct {
    exclude = ["registry.terraform.io/*/*"]
  }
}
EOF

(тут есть подробно, но это медиум, искать плагины или иные методы обхода жадности)

При этом на тофе дока есть по тому же яндексу

И офдока яндекса, для тофы меняем некоторые вещи с terraform (plan) на tf (plan) итд.

яндекс.облако: clickhouse as a service

 Создание вроде в 2 нажатия, но у меня была ошибка "Управление пользователями через консоль недоступно

В кластере включена опция Управление пользователями через SQL. "

Что делать в этом случае:

1) при создании задавался пароль admin (и его можно выставить новый если забыли), держим под рукой

2) нам нужен clickhouse-client

3) Убеждаемся, что правильно настроили SG и подключение возможно

4) открываем "инструкцию по подключению", там получаем сертификаты и берём строку подключения. Подключаемся (пример: clickhouse-client --secure --host rc1b-xxx.mdb.yandexcloud.net --user admin --ask-password --port 9440

Да, нужный хост есть прямо в инструкции, но если что - список хостов в разделе Хосты - FQDN хоста.

5) Самое простое создание базы: create database ххх;

6) добавление юзера: CREATE USER  xxx IDENTIFIED BY 'aaa';

7) Добавляем роли, например

CREATE ROLE accountant;
GRANT SELECT ON db.* TO accountant;

Отключаемся и можно работать, например сделать подключение в WebSQL. Надо понимать что создание чисто для примера, у базы например есть шарды, CLUSTER, ENGINE итд, а у юзера вообще масса параметров, смотрим доку.

Ну и всякие table, view итд - в доку.

koboldcpp + gemma

 AI

https://github.com/LostRuins/koboldcpp/releases/tag/v1.86.2

https://github.com/LostRuins/koboldcpp/wiki

https://huggingface.co/bartowski/google_gemma-3-4b-it-GGUF/tree/main

Проблемы на старых устройствах при обновлении SSL сертификата

 Андроиды до 10 и ТВ могут перестать работать

https://hoster.by/help/ssl-sertifikaty/posle-ustanovki-obnovleniya-ssl-sertifikata-sayt-ne-otkryvaetsya-u-nekotorykh-polzovateley-v-chem-mo/

Сайты с коммерческим SSL-сертификатом GlobalSign AlphaSSL могут перестать открываться у пользователей, использующих устройства с операционными системами Windows 7, 8, Android 9 и ниже. С 29 января 2024 SSL-сертификаты GlobalSign AlphaSSL используют новый корневой сертификат GCC R6 AlphaSSL CA 2023. Этот сертификат не поддерживается операционными системами ниже Windows 10 и Android 10. Для того, чтобы пользователи с операционными системами ниже Windows 10 и Android 10 могли без проблем посещать ваш сайт, нужно установить промежуточный сертификат R1-R6 

https://www.ispmanager.ru/news/globalsign-izmenil-ierarhiyu-kornevyh-sertifikatov-alphassl-i-alphassl-wildcard-s-r1-na-r6

https://support.globalsign.com/ca-certificates/root-certificates/globalsign-cross-certificates

metabase: Database has migration lock (с h2 базой), в докере

 При обновлении метабазы можно поймать

INFO db.liquibase :: Database has unrun migrations. Checking if migration lock is taken... metabase | 2024-12-11 13:50:58,579 WARN util.jvm :: auto-retry metabase.db.liquibase$wait_for_migration_lock$fn__45690@5bfa25f0: Database has migration lock; cannot run migrations. You can force-release these locks by running `java --add-opens java.base/java.nio=ALL-UNNAMED -jar metabase.jar migrate release-locks`.

Фикс (блоком кода)

docker compose down docker ps # обязательно проверяем, что нет лишних запусков, иначе всё сломается docker compose run -ti --entrypoint /bin/bash metabase cd /app #### Обязательно указать валидный файл, иначе просто создаст новую базу. Путь тоже именно такой, иначе создаст metabase.db.mv.db.mv.db export MB_DB_TYPE=h2 export MB_DB_FILE=/metabase.db/metabase.db java --add-opens java.base/java.nio=ALL-UNNAMED -jar metabase.jar migrate release-locks java --add-opens java.base/java.nio=ALL-UNNAMED -jar metabase.jar migrate up ### Обязательно выходить через exit 0, иначе контейнер будет пытаться рестартоваться exit 0

и дальше штатный запуск

openmediavault + zfs

 В китае был куплен комп на N100 под небольшой домашний NAS, и по мере изучения было решено "а чего бы не изучить openmediavault". Добавлен второй диск (обычный sata на 2Тб, механика), поставлен omv. Из коробки вообще довольно много занятного, включая поддержку k8s, podman.

Но захотелось добавить zfs, штатно его нет, нагуглилось что нужен https://wiki.omv-extras.org/. Только оказалось, что он не открывается из РФ, будто это кому-то сделает плохо (нет). 2 минуты, тор браузер, выкушена строка установки по адресу

https://raw.githubusercontent.com/OpenMediaVault-Plugin-Developers/packages/master/install :

wget -O - https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install | bash

И.. всё появляется.

(можно поставить из веба wetty и через веб открыть консольку, где этот скрипт приложить/вставить. Но проще использовать scp install root@...)

Можно через веб, система - плагины - в поиск zfs, можно прямо в консоли

apt install -y openmediavault-zfs

Далее обновляем веб интерфейс и хранилище - zfs - pools - создать, можно отдать просто диск/раздел (предварительно надо будет очистить), можно например lvm том отдать. 

Единственное, "создать раздел" у меня не получилось, если прямо на физический диск делать пул, принимает или lvm, или диск целиком..

PS быстрое включение deduplication на пуле zpool

# zfs get dedup zpool

NAME   PROPERTY  VALUE          SOURCE

zpool  dedup     off            default

root@openmediavault:~# zfs set dedup=on zpool

PS2 если вкладка ZFS в вебе даёт 404 то можно попробовать

modprobe zfs

Несколько интересных IPKVM

 Есть варианты на RPi

- PiKVM

- Любой  RPi + пара дополнительных плат типа HDMI-to-CSI: habr

- https://wiki.blicube.com/blikvm/ru/BLIKVM-PCIE-guide/#_4 (я.маркет, али)

NanoKVM (risc-5)

https://www.youtube.com/watch?v=riDd6d0Vmy0

Безопасная разработка: SAST, DAST, IAST и RASP

Безопасная разработка: SAST, DAST, IAST и RASP