Установка облака NextCloud в docker контейнере postgres + redis + amd64 или arm64

Сегодня будем поднимать облако NextCloud в докер контейнере. Получив в результате отличную альтернативу всяким проприетарным продуктам типа яндекс диск, облако mail.ru, Dropbox, Google диск и т.д.

Необходимые требования

Чтобы всё получилось нам понадобится:

• Сервер с Root доступом. Рекомендую вот этот
• Доменное имя. Можно бесплатный домен или поддомен
• Установленный Docker + Docker-Compose
• Установленный и настроенный Nginx Proxy Manager
• 30 - 45 минут времени

В двух словах о Nextcloud

Бесплатный.

Умеет шифровать данные.

Умеет синхронизировать фаилы и папки.

Умеет работать по протоколу сетевой файловой системы WebDAV.

Обладает большим количеством плагинов и дополнений. Есть например плагин для хранения и структурирования ссылок под названием Bookmarks. Плагин аудиоплеер. Плагин для ведения базы паролей. Плагин для редактирования контактов - имена, номера телефонов, почта, дополнительные поля с быстрым поиском. Даже книга с рецептами присутствует)

Кроссплатформенный. Изначально работает в браузере, а так же существуют клиенты под Windows, Linux, MacOS, Android, iOS. Скачать клиент под необходимое п.о. можно отсюда.

Имеет очень гибкую систему управления пользователями и группами. Такой функционал очень пригодится бизнесу, можно разграничивать разные отделы и иметь полный контроль над всем.

При установке дополнения появляется возможность делиться фаилами через веб-ссылки.

Подготовка

Как и в предыдущих статьях про докер контейнеры мы будем придерживаться правила - хранить все контейнеры в одном месте. Создаём необходимые директории для Nextcloud

sudo mkdir -p /app/nextcloud/nextcloud/{apps,config,data}

Сделаем нашего пользователя (не root !) владельцем этой директории

sudo chown -R $USER:$USER /app/nextcloud/

Конфигурация и запуск

Перейдём в директорию, которую мы создавали выше

cd /app/nextcloud

Создадим фаил docker-compose.yml

nano docker-compose.yml

И заполняем его таким таким содержанием. Данный конфиг подойдёт сразу под amd64 и arm64 архитектуры.

Если Вы хотите поднять NextCloud не светя порты наружу, прочитайте про проксирование приложения в NPM через хостнейм. После усвоения материала используйте этот фаил docker-dompose. В противном случае используйте первый вариант, изначально пост писался именно под него!

В конфиге обязательно обращаем внимание на строки PUID и PGID. Если нам это нужно, то в них мы можем вписать идентификатор пользователя и группы, от которого хотим запускать контейнер!

Для этого их необходимо раскомментировать. А сами ID можно посмотреть написав в терминале:

id

Самые распространённые идентификаторы 1000 и 1001

Следующим шагом мы придумываем логин и пароль для базы данных. И вписываем их в этот кусок конфига

- POSTGRES_DB=nextcloud
- POSTGRES_USER=nextcloud
- POSTGRES_PASSWORD=YOURPASSWORD

Далее. Если это необходимо, то можно изменить название сервиса базы данных postgres-nextcloud на любое угодное. Мы его потом будем вписывать при установке вместо localhost!

С настройкой закончили. Сохраняем конфиг.

Я советую периодически проверять DockerHub на наличие новых версий. На момент написания статьи актуальная версия была
nextcloud:23.0.1

Стартуем контейнер с NextCloud

sudo docker-compose up -d

Выхлоп в терминале должен быть как на скрине ниже.

Подключаем домен

Пришло время подключить домен к облаку. Делать это будем при помощи Nginx Proxy Manager, о котором я писал недавно в одноимённой статье.

В Nginx Proxy Manager(далее NPM) создаём новый хост. Заполняем необходимую информацию.

• Домен либо поддомен
• Ip адрес
• Порт - 13370 (если вы не меняли его в docker-compose.yml)

Нажимаем Save и ждём примерно 60 секунд.

После этого снова редактируем только что добавленный хост, нажав на три точки справа и Edit.

На этот раз отправляемся в раздел SSL в котором запрашиваем новый ssl сертификат для нашего домена - Request a new SSL Certificate

И нажимаем кнопку Save

Обратите внимание, что после нажатия кнопки Save не должно быть никаких ошибок. Если у вас всё же были какие то ошибки, скорее всего это связано с тем что у вас не успели обновиться записи в DNS, либо вы превысили лимиты(количество попыток) LetsEncrypt. В обоих случаях надо просто подождать и повторить попытку позже.

Если же у вас не выдало никаких ошибок с сертификатом, то сразу проверяем результат в браузере, открыв только что добавленный домен.

Мы должны увидеть страницу установки NextCloud

Установка NextCloud

Придумываем комбинацию из сложного логина и пароля для администратора облака и вписываем в соответствующие поля.

Так как мы хотим использовать PostgreSQL вместо SQLite, то нам нужно явно указать это. Для этого нажимаем Хранилище и база данных

Откроется окно с дополнительными настройками.

Каталог с данными /Data оставляем по умолчанию.

Выбираем пункт PostgreSQL. Нам необходимо вписать туда свои данные, которые находятся в фаиле docker-compose.yml.

Обратите внимание на пункт Хост базы данных, в котором по стандарту уже вписано localhost. В самом начале я говорил что можно поменять название сервиса для базы данных. Если вы меняли его то вписывайте своё название, если не меняли то вместо localhost вписывайте postgres-nextcloud

Внимательно проверяем корректность заполненных данных.

По желанию включаем или выключаем пункт Установить рекомендуемые приложения.

Нажимаем кнопку Завершить установку.

После установки нас перекидывает на страницу приветствия.

На этом установку NextCloud можно считать выполненной успешно.

Тюнинг NextCloud

Наверняка вы замечали что если в админ панели, пойти в Настройки во вкладку Система и пролистнуть до версии php то там выставлены ограничения.

Поменяв эти настройки мы можем в той или иной мере повлиять на производительность нашего облака.

Останавливаем контейнер

sudo docker-compose down

В папке рядом с docker-compose.yml создадим фаил nextcloud.ini

nano nextcloud.ini

С таким содержанием (подправьте под ресурсы вашего сервера!)

upload_max_filesize=16G
post_max_size=16G
memory_limit=2G
max_input_time 7200
max_execution_time 7200

Отлично, фаил добавили, теперь необходимо раскомментировать его же в docker-compose.yml

nano docker-compose.yml

просто убираем комментарий и приводим из такого вида

# - ./nextcloud.ini:/usr/local/etc/php/conf.d/nextcloud.ini

к такому виду

- ./nextcloud.ini:/usr/local/etc/php/conf.d/nextcloud.ini

Сохраняем. И стартуем

sudo docker-compose up -d

Проверяем

Теперь облако работает шустрее за счёт увеличения лимитов по оперативной памяти. Также мы увеличили время выполнения php скриптов. И увеличили размер максимально загружаемого фаила до 16 GB

Возможные проблемы

Иногда бывает что с релизами версия Php меняется. У некоторых неофициальных образов месторасположение папки с Php находится вообще в другом месте. В таком случае нам необходимо узнать точное расположение папки.

Для этого зайдём внутрь нашего контейнера

sudo docker exec -it nextcloud-23 bash

Находясь внутри контейнера пробуем попасть в папку с Php

cd /usr/local/etc/php/conf.d/

В некоторых неофициальных образах Nextcloud пхп находится тут: (напомню в данной статье мы ставим официальный образ)

cd /etc/php*

Далее действуем исходя из полученных результатов. Прописываем полный путь до папки с Php в docker-compose.yml если он у вас отличается. И далее всё заработает как надо.

Подключаем Redis

Наверняка вы заметили его в docker-compose.yml в самом низу.

Находясь в папке рядом с docker-compose.yml останавливаем наш контейнер

sudo docker-compose down

Редактируем фаил docker-compose.yml

nano docker-compose.yml

Тут нам нужно убрать комментарии из строк (поменяв пароль на свой)

- REDIS_HOST=redis-nextcloud
- REDIS_HOST_PASSWORD=YOURREDISPASSWORD

а так же полностью расскоментировать сервис redis-nextcloud

Пароль должен быть такой же как в предыдущих строчках которые мы раскомментировали:

redis-nextcloud:
  image: redis:alpine
  container_name: redis-nextcloud
  command: redis-server --requirepass YOURREDISPASSWORD
  restart: unless-stopped

Вновь стартуем наш контейнер

sudo docker-compose up -d

Для того чтобы мы могли проверить работу Redis, поставим необходимые пакеты

sudo apt install redis-tools

Проще всего проверить работу Redis, обратившись к нему по внутреннему адресу. Для этого сначала напишем

sudo docker ps

и найдём там id'шник redis или его имя. В нашем случае имя redis-nextcloud. Используем это имя в следующей команде:

sudo docker inspect redis-nextcloud

Тут нас интересует секция IPAddress": XXX.XXX.XXX.XXX" она находится почти в самом низу.

Каждый раз этот ip будет разный. В моём случае это оказался 172.27.0.2

обратимся к нашему инстансу редиса по этому ip используя пароль который мы ему задавали

redis-cli -a YOURREDISPASSWORD -h 172.27.0.2 ping

В ответ мы получим PONG

Теперь посмотрим как общаются Nextcloud и Redis

redis-cli -a YOURREDISPASSWORD -h 172.27.0.2 monitor

Ответ должен быть OK

Переключимся на браузер с Nextcloud и обновим там страницу. В результате чего в логе мы увидим как побежали данные

На этом подключение Redis успешно завершено

Включаем принудительный режим https

Некоторые плагины требуют чтобы у нас был включен принудительный режим https. Например плагин для хранения паролей passwords.

Останавливаем контейнер

sudo docker-compose down

Теперь необходимо отредактировать фаил .../nextcloud/config/config.php

sudo nano nextcloud/config/config.php

После второй строки вставляем строку

'overwriteprotocol' => 'https',

Внимательно, соблюдая отступы, там по 2 пробела в начале каждой новой строки. Должно получиться вот так:

Стартуем наш контейнер и проверяем что всё ок

sudo docker-compose up -d

Увеличиваем размер чанков

Есть один неприятный баг. Проявляется этот баг при загрузке больших фаилов, пишет ошибку 504 и не загружает фаил

Error when assembling chunks, status code 504

Судя по тикету на гитхабе - его не могут зафиксить уже несколько лет.

Покопавшись, вроде получилось его побороть. Дело в том что NextCloud из коробки делит фаилы на чанки(chunks). По стандарту размер одного чанка равен 10 MB

Когда мы грузим большой фаил, видимо всё упирается в производительность диска и таймауты php и что то не срабатывает как надо.

Для улучшения картины в лучшую сторону мы увеличим раздел чанков. Для этого необходимо зайти внутрь нашего контейнера и послать ему необходимые параметры

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ config:app:set files max_chunk_size --value 20971520

Тут необходимо вместо nextcloud-23 вписать имя вашего контейнера с NextCloud. Вот так:

Я пробовал на фаиле в 4 GB и данное сообщение не появлялось, однако, на фаиле в 8 GB оно появлялось, но через какое то время фаил всё равно загружался и был полностью рабочим.

Чиним cron

Nextcloud использует специальный фаил cron.php для того чтобы инициировать такие процессы как сканирование фаилов, музыки, очистку мусора и другие. Желательно выполнять этот фаил каждые 5-10 минут.

Используя NextCloud в докере из коробки к сожалению эта фича не работает и приходится использовать режим AJAX, который выполняет фаил cron.php при загрузке каждой страницы. Это создаёт дополнительную нагрузку на сервер.

Мы делегируем выполнение этого функционала, штатному cron. Для этого сначала установим его

sudo apt install cron

Проверим что он запущен и работает

sudo systemctl status cron

Мы будем запускать наше задание от root поэтому пишем

sudo crontab -e

В самую нижнюю строчку добавляем наше задание

*/5 * * * * sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/cron.php

Сохраняем и выходим. Ждём 5 минут и проверяем результат

Обновление Nextcloud

Периодически для Nextcloud выходят обновления, рассмотрим как правильно обновиться.

Внимание! Все обновления Nextcloud стоит делать последовательно, не перескакивая через версию. Например если у Вас была версия 21.x.x то чтобы обновиться на версию 23.x.x необходимо сначала обновить nextcloud до версии 22.x.x и только потом уже до 23.x.x !

Переходим в директорию с nextcloud

cd /app/nextcloud

Тушим контейнер

sudo docker-compose down

Посмотрим на структуру фаилов и директорий

ls

Создаём папку, куда свалим нашу предыдущую рабочую версию

mkdir old

Скопируем в эту директорию все фаилы от предыдущей рабочей версии

sudo cp -r DB docker-compose.yml nextcloud nextcloud.ini old

Редактируем фаил docker-compose.yml заменив в нём версию образа nextcloud на более новую. Версии можно посмотреть в DockerHub

nano docker-compose.yml

Поднимаем контейнер с новой версией

sudo docker-compose up -d

Открываем Nextcloud в браузере. Нас приветствует мастер обновления.

Запускаем обновление

Ожидаем какое то время. В результате визард предложит перейти в nextcloud, что завершит процедуру обновления.

Кстати на скрине видно что были отключены некоторые плагины. В действительности после того как я перешёл в облако, все эти плагины были включены и работали, несмотря на то что в сообщении написано что они не совместимы.

Обновление на новую версию завершено.

Полезные команды

Рассмотрим специальные служебные команды для NextCloud. Все эти команды подаются в качестве параметров на occ.php

Во всех приведённых ниже командах не забудьте заменить имя контейнера nextcloud-23 на своё

Плагины

Отобразить список плагинов

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:list

Установить плагин

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:install files_mindmap

Удалить плагин

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:remove files_mindmap

Включить плагин. Например Activity

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:enable activity

Отключить плагин. Например Activity

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:disable activity

Обновить все плагины (либо вместо --all указать нужный плагин)

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:update --all

Получить полный путь папки с плагином. Например плагина Mind Map

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ app:getpath files_mindmap

Пользователи

Отключить юзера

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ user:disable testuser

Включить юзера

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ user:enable testuser

Удалить юзера

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ user:delete testuser

Etc

Произвести сканирование на предмет наличия новых фаилов

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ files:scan --all

Произвести поиск недостоющих индексов в бд

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ db:add-missing-indices

Включить режим обслуживания

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ maintenance:mode --on

Отключить режим обслуживания

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ maintenance:mode --off

Отобразить список доверенных доменов

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ config:system:get trusted_domains

Добавить доверенный домен. В поле value вписываем ip либо домен

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/occ config:system:set trusted_domains 2 --value=http://127.0.0.1

Выполнить cron.php

sudo /usr/bin/docker exec -u www-data nextcloud-23 php -f /var/www/html/cron.php

Остальные команды можно найти тут

На этом всё. Все молодцы кто до сюда дошёл и у кого всё получилось!

Tags Docker Docker-Compose Docker-Ready Docker-Ready-Cloud NextCloud