Замена для elasticsearch

 Как мне стало известно, эластик для включения SSO хочет денег (доступно только на ОЧЕНЬ платных тарифах), плюс всё больше добавляет телеметрии. И как мне сказали, с версии 7.12 убран функционал плагинов так, что сломалось многое, включая сторонние реализации SSO. 

И тут вспомнился скандал что амазон делал свои патчи, что очень не нравилось эластику. Очень быстро нашлось

https://www.infoq.com/news/2021/04/amazon-opensearch/

https://venturebeat.com/2021/07/13/amazons-elasticsearch-fork-opensearch-hits-prime-time/

Бонусом оказывается эластик стал менять лицензии на закрытые. "Жадность фраера сгубила". И теперь есть настоящий, вменяемый форк, с правильной версии, с правильными лицензиями, без лишней телеметрии и прочего жадного мусора.

Впрочем, не ёлкой единой. И если у logstash существует тьма замен (filebeat, journalbeat, fluentbit/fluentd, итд), то с эластиком сложнее. Хотя "слабое звено" в данном случае не эластик а кибана и нужно искать замену ей.

Использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB

Чем заменить ELK для просмотра логов?

https://aws.amazon.com/ru/blogs/opensource/introducing-opensearch/

AWS enable MFA for all

 Есть штатная дока про включение и виды MFA

https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_mfa.html

Но - там ни слова про включение MFA как требование для всех. Впрочем, легко гуглится заметка их блога

https://aws.amazon.com/ru/blogs/security/how-to-delegate-management-of-multi-factor-authentication-to-aws-iam-users/

Включить эту информацию, хотя бы ссылкой, они как всегда не осилили.

AWS S3: немного про ACL

Для начала, как посмотреть права на файле в s3, кроме веба?

s3cmd info s3://(bucket)/(dir/file)

aws s3api get-object-acl --bucket (bucket) --key (dir/file)

В выводе будут строки ACL:

Но что с этим знанием делать дальше? Для начала, читать доку

https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html

AWS WAF – Брандмауэр для интернет‑приложений

https://aws.amazon.com/ru/waf/

AWS WAF – это брандмауэр для интернет‑приложений, который позволяет защитить их (или различные API) от распространенных сетевых эксплойтов, способных повлиять на доступность, создать угрозу безопасности или задействовать чрезмерное количество ресурсов API или приложения. AWS WAF предоставляет полный контроль над тем, каким именно образом трафик будет достигать приложений пользователя: он сможет создавать правила безопасности, которые будут блокировать такие выполняемые по распространенным шаблонам атаки, как SQL-инъекции или межсайтовый скриптинг, а также правила, которые будут фильтровать трафик с определенным характером. Начать работу с AWS WAF можно чрезвычайно быстро благодаря наличию управляемых правил – предварительно сформированного набора правил, управляемых AWS или продавцами рынка AWS Marketplace. Управляемые правила для WAF позволяют справиться даже с проблемами из списка десяти главных угроз безопасности по версии OWASP. Эти правила регулярно обновляются по мере возникновения новых проблем. AWS WAF предлагает полнофункциональный API, позволяющий автоматизировать процессы создания, развертывания и обслуживания правил безопасности.

Но в настройке это весьма... объёмная вещь. Конфиги в сотни и сотни строк - вполне норма.
Пример шаблонов
https://aws.amazon.com/ru/solutions/aws-waf-security-automations/
Шаблон к нему
https://s3.amazonaws.com/solutions-reference/aws-waf-security-automations/latest/aws-waf-security-automations.template
40 кб. Это к вопросу размеров. Выкатить несколько независимых стэков - меньше выходит.

Ещё пример, из которого можно собрать нужное
https://github.com/aws-samples/aws-waf-sample

aws: Load Balancer Types

Elastic Load Balancing supports the following types of load balancers: Application Load Balancers, Network Load Balancers, and Classic Load Balancers. Amazon ECS services can use either type of load balancer. Application Load Balancers are used to route HTTP/HTTPS (or Layer 7) traffic. Network Load Balancers and Classic Load Balancers are used to route TCP (or Layer 4) traffic.

https://docs.aws.amazon.com/AmazonECS/latest/developerguide/load-balancer-types.html (и вообще лучше ознакомиться, там подходы разные)
https://docs.aws.amazon.com/elasticloadbalancing/latest/application/

Когда нам нужно обрабатывать http(s) трафик, лучше всего подходит application LB. Чем он лучше классического:
https://docs.aws.amazon.com/elasticloadbalancing/latest/application/introduction.html#application-load-balancer-benefits

Моменты, о которых надо помнить
- Требуется минимум 2 AZ. Даже если данные есть только в одной, остальные должны просто быть. А вот 1 сети в каждой AZ будет достаточно.
- Не забыть про security groups
- Желательно добавить Health Checks для сервера

В случае с CloudFormation можно начать отсюда
https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-elasticloadbalancingv2-loadbalancer.html
Не путать с почти такой же страницей, но без V2 - так как это classic lb

You can specify the AvailabilityZones or Subnets property, but not both.

Jenkins+aws

Самый простой вариант это ставим aws cli и через execute shell, но далеко не самый правильный

https://github.com/jenkinsci/pipeline-aws-plugin
Умеет работать с s3, cfn, sns и ещё чуть по мелочи

https://jenkins.io/doc/pipeline/steps/s3/
https://plugins.jenkins.io/artifact-manager-s3
более частные случаи

Common DBA Tasks for PostgreSQL

https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Appendix.PostgreSQL.CommonDBATasks.html

amazon VPC - общение между подсетями

A VPC peering connection is a networking connection between two VPCs that enables you to route traffic between them privately. Instances in either VPC can communicate with each other as if they are within the same network. You can create a VPC peering connection between your own VPCs, with a VPC in another AWS account, or with a VPC in a different AWS Region.

Если есть несколько VPC, например на разных аккаунтах или в разных регионах, и нужна их связность - есть такая штука как VPC peering.

https://docs.aws.amazon.com/vpc/latest/peering/what-is-vpc-peering.html (и далее)
https://docs.aws.amazon.com/vpc/latest/peering/vpc-peering-basics.html

Вкратце - сначала нужно установить VPC Peering (доверенную связь) - в одноимённом разделе сначала на первом аккаунте/регионе отправляем запрос, потом на втором аккаунте/регионе подтверждаем связь.
Далее в routing tables с обоих сторон добавляем новые сети. При разделении на приватные и публичные сети - добавлять нужно в обе сети. Приватные - для нормального обмена, публичные - чтобы получать доступ к серверам из публичной сети, а так же при подключении к впн (который должен быть в публичной сети) чтобы через него были доступны связанные регионы.

Обращаем внимание на ограничения, в том числе - сети в пиринге не должны пересекаться.

Также, если много связей, имеет смысл посмотреть на
https://aws.amazon.com/ru/about-aws/whats-new/2019/12/aws-transit-gateway-supports-inter-region-peering/
Что-то достаточно свежее: Posted On: Dec 3, 2019

Отдельно настраивается резолвинг днс между зонами.

CloudFormation и установка ПО после настройки инфраструктуры

Все действия производятся в блоке UserData, так или иначе. А теперь по порядку, что там может быть

Обязательно начинаем с док
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/user-data.html
https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-properties-ec2-instance.html#cfn-ec2-instance-userdata

1) Простой баш скрипт где всё нужное. Быстро, но со своими особенностями вроде сложности обработки ошибок.
https://github.com/hashicorp/consul-ec2-auto-join-example/blob/master/templates/consul.sh.tpl#L5

Setup Consul via CloudFormation in aws

Во-первых, у консула есть автонастройка кластера на базе тэгов, подробнее тут
https://www.consul.io/docs/agent/cloud-auto-join.html#amazon-ec2

Во-вторых, информации как это лучше сделать вроде и море, но кусочек тут, кусочек там, а чуть что не так - надо долго гуглить что не так..
Некоторые действия нельзя сделать напрямую, нужно через некие промежуточные шаги, например у IAM (role, policy как часть role или отдельными блоками, profile)
https://aws.amazon.com/ru/premiumsupport/knowledge-center/cloudformation-attach-managed-policy/

Private subnet + openvpn в амазоне

Первое что нужно помнить - для уже созданной машины нельзя менять subnet, обходной путь через создание образа и раскатывание нового инстанса.

2 доки, с которыми стоит заранее ознакомиться
https://aws.amazon.com/ru/blogs/awsmarketplace/setting-up-openvpn-access-server-in-amazon-vpc/
https://www.freecodecamp.org/news/how-you-can-use-openvpn-to-safely-access-private-aws-resources-f904cd24f890/

Вкратце, можно взять уже готовый образ с openvpn AS (access server) и платить потом за его использование, а можно развернуть ось и поставить туда пакет с openvpn as. При втором подходе будет ограничение на 2 одновременных коннекта.

Сама установка (для centos):
wget http://swupdate.openvpn.org/as/openvpn-as-2.5.2-CentOS7.x86_64.rpm
yum install -y openvpn-as-2.5.2-CentOS7.x86_64.rpm

Увы, там нет про создание private subnet, может быть позднее сделаю.

Amazon Elastic Network Interface

Elastic Network Interfaces
Amazon Web Services - How To Add Additional Network Interface

Балансировщик нагрузки для Amazon EC2 c автомасштабированием

http://habrahabr.ru/post/136827/

На базе ELB

+

gigimon,24 января 2012 в 16:48#

Помимо амазоновского сервиса автомасштабирования, есть (как минимум) 2 сервиса, которые позволяют это делать на амазоне сильно умнее (scalr.com, alestic.com). Умнее в том, что есть интеграция с ПО на инстансах (если это mysql, то будет подниматься репликация, если apache, то автоматически будет добавляться к фронтенду в список бэкендов)

0

anatolijd,24 января 2012 в 17:02#

вьі наверно имели ввиду ylastic.com?

Amazon Glacier

Скинули недавно линк на новый сервис амазона Amazon Glacier. Это такое мегадешёвое хранилище для бэкапов со временем доступности данных оттуда порядка 4-5 часов

bacula+amazon

Основной документ
http://lucasmanual.com/mywiki/Bacula

Варианты исполнения
Через fuse-s3fs
Бэкапы через bacula на Amazon S3

Можно через s3cmd делать синхронизацию локального хранилища с удаленным.

"особо хитроумные пользователи AWS используют EC2 для бекапов и используют там rsync, а на s3 держат только снимки состояния EC2"
Но это + к стоимости за сервер. Хотя можно из скриптов запускать инстанс, ждать окончания и гасить, но если "вдруг" что-то изменится/сломается (ключ отозвали например), и мы не заметили и что-то сломалось, прощайте данные.

s3cmd

Офсайт
http://s3tools.org/s3cmd

Описание s3cmd sync
http://s3tools.org/s3cmd-sync
в том числе —-exclude / —-include и их варианты с регулярками и файлами.

Также интересен
S3fuse

Filesystem driver for Linux FUSE (Filesystem in USErspace). It will allow for mounting the S3 storage as a fully fledged filesystem to your Linux box.

Есть особенность в том, что есть bucket, но нет команды создания там каталогов... Но это особо и не нужно: s3cmd sync . s3://ourbucket/my/new/path (my/new/path не существует пока) отработает нормально и все пути создаст. Хотя в самом скрипте и есть закомментированный блок:
#{"cmd":"mkdir", "label":"Make a virtual S3 directory", "param":"s3://BUCKET/path/to/dir", "func":cmd_mkdir, "argc":1},
Так что может в дальнейшем и будет такая команда.

Дока с примерами:
http://www.tech6i.com/how-to-use-s3cmd-sync-to-syncrsync-your-data-with-your-s3-bucket/

Many of you have asked whether s3cmd supports Reduced Redundancy Storage recently introduced by Amazon. Yes it does!
RRS is supported in s3cmd 1.0.0-rc1 and newer

Oh, by the way, the magic switch is --reduced-redundancy or --rr for put, sync, cp and mv commands.
http://s3tools.org/reduced-redundancy-storage
You don’t need the development version for this; at least on 0.9.9.91 (recent Ubuntu distro), just add the header as documented by Amazon:

—add-header=x-amz-storage-class:REDUCED_REDUNDANCY

Конвертация non-rr to rr
http://www.bryceboe.com/2010/07/02/amazon-s3-convert-objects-to-reduced-redundancy-storage/

Впрочем, есть проблемы. В частности, копирование 80к картинок +чуть-чуть flv видео занимает много часов, хотя общий объем там относительно небольшой, около гига, канал 10мбит.
С синхронизацией тоже не всё хорошо - грузит проц, проблемы с симлинками итд. Надо читать комменты по ссылкам выше.

Облака: за и против

С одной стороны, облачная структура удобна и снимает проблемы вроде "отказа жесткого диска в сервере" - само облако должно вывести неисправный узел из работы, перекинув все задачи на другой сервер. С другой - в приватном облаке надо больше железа, более дорогой софт для создания и управления этим облаком, а в публичном - угрозы вроде потери контроля, потери данных, компрометация данных, вмешательство сотрудников облака в работу наших серверов, "цензура"...

Плюс к размышлению:
Amazon восстанавливает облачные службы AWS
Беды Sony могут заставить многих изменить планы в отношении облачных служб

Amazon EC2 - делаем пробный запуск

Есть сейчас предложение для новых пользователей - инстанс t1.micro бесплатен при соблюдении ряда условий.

Идем на https://console.aws.amazon.com/ec2/home
Регистрируемся.
Теперь надо создать:
- key pair (пару ключей для авторизации)
- security group (набор правил для фаервола)
опционально - elastic IPs - внешний айпи адрес.
Впрочем, можно сразу начать создание машины, а всё это будет создано из мастера.
Для пробы я взял за основу ami-7fd4e10b

По умолчанию у нас нет внешнего айпи, поэтому надо получить адрес для подключения. Например так - переходим в instances, выделяем наш созданный инстанс, и там в свойствах есть строки
Public DNS: ec2-46-137-2-150.eu-west-1.compute.amazonaws.com
Private DNS: ip-10-227-167-170.eu-west-1.compute.internal
Нам нужен public.

Если используется putty - надо сконвертировать файл ключа из .pem в .ppk, штатный ключ putty не поймет. Для этого открываем puttygen, там load private key, на вопрос о конвертации соглашаемся. Потом save private key, без пароля, и уже как .ppk
Теперь подключаем этот ключ и логинимся. По умолчанию root, но некоторые инстансы хотят другие логины, например ec2-user

Много заметок про ЕС2 есть на хабре.