Форум 'Облачные и кластерные технологии' на RSDN

Beget или Reg.ru?

Wed, 08 Apr 2026 23:56:59 GMT

Beget за последние полгода-год неплохо обновился с уровня "непонятный индийский сайт на web 1.0" до простая и понятная админка. Предлагает вкусные цены, поддержка отвечает быстро. Сейчас сервисы и внутренние ресурсы компании хостятся на Reg.ru, но у рега плохая репутация как по вопросам цены, так и по вопросам внезапных подлянок.

Из плюсов Beget:

цены
простая и понятная админка
возможность в пределах ДЦ создавать частную сеть
пытаются выглядеть стильно, модно, молодёжно — надежда, что будут развивать сервис

Из минусов Beget:

непонятная репутация
облачные сервисы — игрушечные (нельзя даже репликацию у БД настроить)
обслуживают и Россию, и Украину. В 2026-ом это вагон вопросов и красных флагов.

Из плюсов Рег.ру:

репутация — резко уехать в заказ и превратиться в тыкву не получится
минимальный джентельменский набор для развёртывания SaaS из коробки — VPS, DB, S3
дают почту на домене по каким-то смешным ценам

Из минусов Рег.ру:

репутация — в прошлом были неприятные моменты с резким ростом цены
стоимость услуг дороже

Короче, хочется уйти от Рег.ру как от монополистов, но в одночасье перекидывать все ресурсы на новую платформу не хочется. И быть и там, и там накладно, потому что если, например, БД в одном ДЦ, а VPS в другом, то уже возникают задержки и т.д. Что посоветуете?

бесплатные альтернативы aws lambda + dynamodb

Wed, 21 May 2025 17:40:22 GMT

Разыскивается бесплатное (на небольших нагрузках) комбо из лямбд и какого-нибудь хранилища (kv семантики хватит) которое сейчас и в дальнейшем будет работать как в России, так и зарубежом. Кто-то может заблокировать доступ из РФ. Кто-то может заблокировать доступ не из РФ (да, таким вроде только (около) государственные сайты балуются, но начало положено). Кто-то может пасть жертвой роскомнадзора (потому что хостит виртуалки каких-нибудь ВПН сервисов, например). В общем, разные сценарии возможны. Есть какие-то подходящие сервисы, у которых иммунитет к таким фокусам? Индусы какие-нибудь? Бразильцы (и то не уверен)? Китайцы вряд ли, они сами от кого хошь могут заблокироваться.

В общем, смысл в том, чтобы один раз наклепать простенький сервис и больше его никогда не трогая спокойно использовать в разных странах

AWS EC2 Capacity Reservation

Fri, 02 May 2025 18:55:22 GMT

Привет,

может кто-то знает каким образом можно сделать запрос на резервирование определенного типа инстанца если на текущий момент их нет в наличии?
Либо как посмотреть размер доступного пула по заданному типу?

p.s. Отвечу сам себе: никак.
Собственно вопрос был задан из-за того что все время обламывались попытки поменять тип сервера, добавленного в кластер. Но Амазон не резервирует для кластеров мощности. Поэтому пришлось отключить сервер из кластера чтобы сменить тип.

Вопрос по Minio под Ubuntu

Mon, 14 Apr 2025 19:02:49 GMT

Есть плата СМ3588 с одной плашкой SSD M.2 256 ГБ
Плашка виделась как /media/pi/E автоматически. Я ничего не настраивал.
Minio запускал командой ./minio server /media/pi/E
Сейчас захотелось больше места и я воткнул ещё одну плашку объёмом 1ТБ.
Она видится как /media/pi/F автоматически.
Вопросы:
— Как нужно запускать Minio?
— В /media/pi/E была создана Bucket data2. Мне нужно, чтобы она осталась, но её объём увеличился за счёт /media/pi/F.
Можно ли такое сделать?

AWS OpenSearch

Wed, 02 Apr 2025 10:45:15 GMT

Кто нибудь пользуется данной штукой? Интересует возможность его использования для хранения небольших json блобов, поиска по паре полей внутри, при этом будет достаточно большое количество инсертов (до 50 в секунду), будут апдейты, и надо что бы поиск работал достаточно шустро. Вроде как получается куда дешевле RDB (типа sql server), но все же непонятно как у него с быстродействием, и конечная цена тоже не совсем ясна

Сообщения в AWS SQS пропадают

Tue, 11 Feb 2025 07:53:08 GMT

Имеется очередь SQS, я вручную в окне Send/Recieve Messages добавляю туда тестовое сообщение, оно подхватывается небольшой консольный программой крутящейся в контейнере и слушающее эту очередь посредством AWS API, а именно RecieveMessagesAsync() методом, больше этот контейнер ничего не делает.
Теперь в окне Monitoring показывается что Number of Recieved Messages подскочило на 1, тоже самое с not visible messages (на пару секунд). Number of deleted messages остаётся на нуле.
На этом все заканчивается. Куда оно делось? Разве сообщение не должно быть явно удалено что бы оно пропало из очереди?

Доступ с VDS на домашний комп с MinIO через OpenVPN

Wed, 23 Oct 2024 13:05:46 GMT

На домашнем компе стоит Ubuntu и MinIO. IP назначает провайдер.
Поэтому на VDS я установил OpenVPN server, а на домашнем компе openVPN clien
На домашнем компе я запускаю sudo ./minio server /data
Потом в Chromium набираю 10.8.0.2:40449 и попадаю в консоль MinIO.
Там я создал Buckets и Access Keys.
Дальше я взял какую-то левую прогу из инета. Запускаю её на VDS, пытаясь сохранить файл
в MinIO.
Проге нужно только
AWS_ACCESS_KEY_ID="мой кей"
AWS_SECRET_ACCESS_KEY="мой кей"
S3_UPLOADS_BUCKET="data1"
S3_UPLOADS_HOST="10.8.0.2:40449"
S3_UPLOADS_PATH="/assets"

После запуска появляется следующая ругань:
"Missing credentials in config, if using AWS_CONFIG_FILE, set AWS_SDK_LOAD_CONFIG=1"

Мне не понятно:
— Почему проге не нужен юзер и password для захода на MinIO?
— Как с VDS проверить работу OpenVPN? Места на VDS очень мало.
ping работает крайне странно. Нужно ждать несколько минут. Потом проскакивает несколько пакетов и опять молчание.
Объясните, пожалуйста, суть вопроса. Куда какие пакеты идут и какие протоколы работают?

AWS, авторизация от двух пользователей для получения одного ключа

Tue, 13 Aug 2024 00:57:42 GMT

Допустим, у нас есть некий прод AWS, и его надо обновить, задеплоить новую версию кода, и нежелательно, чтобы это мог сделать один человек по собственному хотению. Нужно иметь нечто вроде сейфа, в который вставляют два разных ключа два разных человека.

Для обновления нам нужен ключ доступа AWS, и Амазон предоставляет возможность запросить ключ с коротким временем действия, через обычный вход с аутентификатором.

Есть ли уже готовая схема получения ключа, когда некий пользователь запрашивает ключ, а подтверждение запрашивается у двух пользователей?

Вопрос про бесплатное S3 хранилище.

Sun, 11 Aug 2024 13:45:38 GMT

Есть сайт. На него заходят пользователи и загружают свои файлы.
Нужно сделать хранение файлов в S3 хранилище.
Есть ли такое бесплатное хранилище, которое сейчас работает с Россией?

API Microsoft Graph можно использовать из России?

Thu, 08 Aug 2024 14:56:14 GMT

Расскажите про облака без напряга

Mon, 08 Apr 2024 16:16:06 GMT

Я уже несколько лет познаю облака. Но до сих пор меня не покидает ощущение, что я что-то делаю сильно не так. Я начал со своей инсталляции кубернетеса на виртуалки у хостера. Сейчас переехал на managed кубернетес. Но меня поражает объём работы, который нужно делать для поддержания всей этой инфраструктуры. Это всё такое, как говорится, bare bones. Каждый нюанс нужно настраивать.

Вот приведу только один простой пример — логгирование. Имеется куча сервисов, которые пишут логи в stdout. Эти логи нужно собирать централизованно, класть в каком-то виде в S3 и давать к ним доступ для просмотра. Чтобы это работало, я потратил не один день, разбираясь со стеком loki + promtail + grafana. У меня кучка манифестов для запуска всех этих сервисов в кластере. У меня абсолютно не дефолтный конфиг для loki. promtail я тоже несколько дней настраивал, и там честно говоря ещё настраивать и настраивать. Вывод каждой программы нужно парсить в нужном формате. Настроил для spring boot 2, обновились, оказалось — формат лога поменялся. Настроил для spring boot 3. Сегодня вот запустил один сервис, который льёт логи как не в себя (ну по моим меркам), loki начал валиться с загадочными ошибками, тоже пару часов потратил на исследование и решение проблемы. Причём практически все проблемы приводят либо в исходники, либо в закрытые 3 года назад issues. Или вообще никуда не приводят. Такого, чтобы проблема случилась и ты просто нагуглил решение в документации — фиг вам.

И выше только один пример. Кроме него ещё множество задач, часть которых я вообще не успеваю делать. Мониторинг (его по-моему можно настраивать вечность), скалирование, безопасность, CI/CD пайплайн.

Я в целом уже во всём этом разбираюсь, каждую отдельную задачу решал, если мне надо с чистого листа всё настроить, то за пару месяцев, наверное, настрою, если не выгорю.

Но что меня поражает — это же всё абсолютно типовые задачи. Если мне надо настроить парсинг логов для кейклока, его надо настроить всем остальным. Всем нужен сбор логов, всем нужен сбор метрик, всем нужна сборка образа при пуше и выкладывание этого образа в свой реестр. Всем нужна автоматизация инфраструктуры из гит репозитория. И тд и тп.

Я вполне представляю теоретическое облако, где все эти вопросы решены. Где я вбиваю токен от гитхаба в админку и дальше он все вопросы сам решает. Настраивает CI/CD. Настраивает все нужные скалирования, всякие там ресурсы, cpu, memory. Собирает логи. Имеет готовые настройки для всех сервисов, которые мне могут понадобиться. Но на практике я это облако не вижу.

Если провести аналогию — я ставлю какой-нибудь centos на сервер и имею из коробки настроенный фаервол, а также удобные средства для его кастомизации. Я имею из коробки настроенное логгирование, мне не нужно разбираться с каким-то rsyslog или journald или чего там сейчас используют. У меня из коробки настроен ssh, для всех программ в дистрибутиве настроены профили selinux. То бишь от меня скрыта довольно немаленькая сложность. А то, что я делаю в кубе, мне напоминает компиляцию своего линукса из исходников в сравнение с этим.

Сейчас я пользуюсь облаком от селектела. Я также смотрел в яндекс и немного соприкасался с aws (с ним по-моему разобраться жизни не хватит). В общем я там ничего такого не увидел. Там всё только сложней и неудобней.

Правильно ли я понимаю, что на текущем этапе развития любая компания, которая хочет хоститься в облаке со сложностью большей, чем один докер-композ, обречена на трату практически одного человекоместа только на то, чтобы совладать со всем этим? Причём все компании делают примерно одно и то же.

docker уникальный индификатор

Tue, 02 Apr 2024 15:25:17 GMT

я раздаю docker имидж всем желающим через hub.docker.com

как можно реализовать добавление файла с уникальной меткой внутри каждого отданного образа

Хранилище Яндекс 360

Thu, 16 Nov 2023 09:25:32 GMT

Приветствую.
Уже давно пользуюсь подпиской "Microsoft 365 для семьи" и очень доволен OneDrive. Потерянных файлов нет.
Раньше ещё пользовался звонками со Skype на городские России (60 минут включено в месяц), но потеряло актуальность.

Собственно, что буду менять эту подписку — мало шансов. Но интересно про Яндекс 360 — ведь шанс всё равно есть
Есть кто долго пользовался: как там хранилище работает, надёжно?

Google Cloud Client Libraries не заливается файл в собственный drive

Sat, 30 Sep 2023 22:31:25 GMT

Всем привет

Подтолкните пожалуйста. Первый раз работаю с гугловыми библиотеками, пока пытаюсь запустить хотябы пример, не получается.

У меня цель — залить и скачать файл с гугл драйва. Для первого теста пробую на своем собственном гугл-аккаунте.

Я взял сэмплы https://github.com/googleworkspace/dotnet-samples
Скачал gcloud CLI, сделал gcloud auth application-default login и залогинился в свой гугл аккаунт.

После этого в сэмплах стала работать инициализация

GoogleCredential credential = GoogleCredential.GetApplicationDefault().CreateScoped(DriveService.Scope.Drive);

Но теперь попытка залить тестовый файл вызывает ошибку

protected string CreateTestBlob(string filePath)
        {
            var fileMetadata = new Google.Apis.Drive.v3.Data.File();
            fileMetadata.Name = "photo.jpg";
            using (var stream = new FileStream(filePath, FileMode.Open))
            {
                var request = service.Files.Create(
                    fileMetadata, stream, "image/jpeg");
                request.Fields = "id";
                IUploadProgress test = request.Upload();
                
                var file = request.ResponseBody;
                return "";
            }
        }

IUploadProgress test = request.Upload(); — тут реквест возвращает эксепшн "The service drive has thrown an exception. HttpStatusCode is Forbidden. Request had insufficient authentication scopes."

Что оно от меня хочет и как залить файл с компа на свой гугл-драйв используя их клиентские библиотеки?

Сloud functions и ограничения по ЯП

Mon, 31 Jul 2023 13:47:21 GMT

Такой вопрос.

Вот список ЯП для разных облачных функций по версии Гугла (на самом деле не точный):

AWS Lambda: Java, Go, PowerShell, Node.js, C#, Python, and Ruby.
Google Cloud Functions: Java, Python, Go, Node. js, and Rust.
Azure Functions: C#, JavaScript, Java, PowerShell, Python, TypeScript.

Т.е. в основном интерпретируемые языки или управляемые. Исключение — Rust для Google Functions — это же не управляемый язык, т.е. не выполняется в вирт. машине.

И вопрос у меня такой. Выбор языков чем-то принципиально ограничен? Ведь по сути эти функции крутятся на шаред-хостинге, можно так сказать. Не создается отдельная вирт. машина а изоляция достигается средствами ограничения API (как то стандартные функции записи в файл — не доступны или урезаны (как-то читать можно только из своей папки)).

Т.е. С++, получается, особо нельзя применить, т.к. там придется запретить прямой доступ к памяти процесса, а это уже не проканает — без этого язык не может существовать?

С Rust, как я понял, удалось за счет того, что можно отключит unsafe и оставить только safe. С C# та же петрушка, по сути — там тоже unsafe. А вот с С++ это не проканает, т.к. нету концепции safe|unsafe. Правильно я понял?

Цена интернет траффика для VPS

Tue, 11 Jul 2023 18:02:14 GMT

У Aws/Azure/Google cloud цена исходящего интернет траффика около $90 за TB, при больших объёмах снижается до ~$50.
Что довольно дорого для приложений, использующих большой траффик. Какие есть возможности сэкономить?

Собственный аудио-стриминг с интеграцией Amazon Alexa

Sun, 18 Jun 2023 12:45:24 GMT

В западном мире широко распространены умные колонки Amazon Alexa, которые работают на технологиях Amazon AWS. Из коробки доступна интеграция с несколькими крупнейшими стриминговыми сервисами: Amazon Music, Spotify, Apple Music/Podcasts, TuneIn Local Radio, ... .

Эти колонки ещё поддерживают так называемые навыки (Skills), которые позволяют запрашивать данные во внешних сервисах через развитой API. Например, у крупнейших аудиовизуальных СМИ (радио, ТВ) есть свой навык для Alexa, так что пользователь может сказать "Alexa, skill ARD" и послушать последний выпуск новостей от ARD.

Допустим, у нас есть собственная медиатека и хочется сделать свой навык (skill) по воспроизведению треков из этой медиатеки. Алгоритм работы такой: голосом запускаем навык, называем ключевое слово. Alexa распознаёт речь и передаёт в наш сервис текстовый запрос, а наш сервис передаёт звуковой файл на воспроизведение. В идеальном случае, это будет стриминг из цепочки файлов.

Как вы думаете, какое будет основное препятствие / сложность в создании такого сервиса? Техническая она будет или какая-то другая? Насколько вообще трудоёмко сделать такой сервис? Вопрос правообладания оставим за скобками; произведения все свои.

Spark, delta table. как индексировать данные?

Wed, 22 Jun 2022 21:59:18 GMT

Данные пишутся в delta table в порядке возрастания даты/времени. Нужно извлечь все значения с датой больше определенного значения. Как это эффективно сделать в Spark?

setup Subnet в docker

Mon, 23 May 2022 17:54:42 GMT

если кто нибудь в курсе подскажите как установить нужный Subnet в docker

https://support.getjoan.com/knowledge/How-to-change-the-Docker-default-subnet-IP-address
но у меня нет даже фолдера /etc/docker/

пробовал вот так адресс не изменился
https://stackoverflow.com/questions/46845381/how-do-configure-docker-compose-to-use-a-given-subnet-if-a-variable-is-set-or-c

Хороший курс по Kubernetes

Wed, 30 Mar 2022 11:21:00 GMT

Всем привет,

подскажите сабж + желательно с практикой.

Заранее благодарю!