J-한솔넷

AWS DMS (Database Migration Service)를 못믿어 데이터베이스 테이블 비교 코드를 만들어 보았습니다.

jhansol — Wed, 9 Jul 2025 00:34:58 +0900

안녕하세요?
정말 오랜만에 블로그에 글을 올립니다. 그 동안 바쁘다는 핑계로 기억을 박제하지 못했네요. ㅠㅠ

저는 요즘 개발 업무보다 회사의 운영 방침에 따라 AWS 인프라 관리, 마이그레이션관련 일에 몰두하고 있습니다. 개발 업무를 하고픈데, 업무가 이상하게 흘러가는 듯 합니다. 암튼 지금은 이 일을 하고 있습니다.

마이그레이션 작업에서 가장 신경이 쓰이는 부분이 운영 중인 데이터베이스를 다른 서버 또는 다른 계정으로 마이그레이션 하는 부분이라고 생각합니다. 지금 이 작업을 하고 있는데, 몇일 전 하나의 프로젝트(서비스) 데이터를 이동하는 중 데이터가 모두 복재가 되지 않아 소스에서 덤프를 뜨서 대상 데이터베이스에 복원한 적이 있습니다. 이 후로 DMS로 마이그레이션하고, 복제하는 작업을 신뢰할 수 없게 되었습니다.

그래서 만들어 봤습니다.

아래의 코드는 간단하게 ChatGPT를 이용하여 코드를 작성하고, 약간 수정한 것입니다. 잘 동작합니다.

const mariadb = require('mariadb');

const db1Config = {
  host: '127.0.0.1',
  port: 63306,            // ✅ 포트 번호 추가
  user: 'admin',
  password: 'xxxxxxxx!',
  database: 'xxxxxxxx',
};

const db2Config = {
  host: '127.0.0.1',
  port: 33306,            // ✅ 포트 번호 추가
  user: 'admin',
  password: 'xxxxxxx!',
  database: 'xxxxxxx',
};

async function getTableRowCounts(pool, database) {
  const conn = await pool.getConnection();
  try {
    const tables = await conn.query(`
      SELECT table_name
      FROM information_schema.tables
      WHERE table_schema = ?
    `, [database]);

    const counts = {};
    for (const row of tables) {
      const table = row.table_name;
      const result = await conn.query(`SELECT COUNT(*) as count FROM \`${table}\``);
      counts[table] = result[0].count;
    }
    return counts;
  } finally {
    conn.release();
  }
}

async function compareDatabases() {
  const pool1 = mariadb.createPool(db1Config);
  const pool2 = mariadb.createPool(db2Config);

  try {
    const [counts1, counts2] = await Promise.all([
      getTableRowCounts(pool1, db1Config.database),
      getTableRowCounts(pool2, db2Config.database),
    ]);

    const allTables = new Set([...Object.keys(counts1), ...Object.keys(counts2)]);
    let identical = true;

    for (const table of allTables) {
      const count1 = counts1[table];
      const count2 = counts2[table];

      if (count1 === undefined) {
        console.log(`❌ Table '${table}' missing in DB1`);
        identical = false;
      } else if (count2 === undefined) {
        console.log(`❌ Table '${table}' missing in DB2`);
        identical = false;
      } else if (count1 !== count2) {
        console.log(`❌ Table '${table}' row count differs: DB1=${count1}, DB2=${count2}`);
        identical = false;
      } else {
        console.log(`✅ Table '${table}' matches with ${count1} rows`);
      }
    }

    console.log('\n✅ Databases are ' + (identical ? 'identical' : 'different') + ' in structure and row count.');
  } catch (err) {
    console.error('Error:', err);
  } finally {
    await pool1.end();
    await pool2.end();
  }
}

compareDatabases();

그리고 package.json은 아래와 같습니다.

{
  "name": "db_compare",
  "version": "1.0.0",
  "description": "Compare database",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "author": "",
  "license": "ISC",
  "dependencies": {
    "mariadb": "^3.4.4"
  }
}

잘 돌아갑니다. 그리고 테이블 이름과 테이블에 저장된 레코드 수가 모두 일치한다고 나요네요. 이로서 두 데이터베이스는 동일하다고 볼 수 있을 것 같습니다.

그리고 두 데이터베이스는 AWS 프라이빗 서브넷에 있어 SSH 명령을 이용하여 터널링하여 접속해서 체크했습니다.
결과는 아래와 같습니다.

node index.js
✅ Table 'dx_lecture_enrollments' matches with 0 rows
✅ Table 'member_companies' matches with 1 rows
✅ Table 'online_edu_lecture_study_logs' matches with 0 rows
✅ Table 'password_resets' matches with 0 rows
✅ Table 'performance_dx_job_transition_rates' matches with 0 rows
✅ Table 'experience_images' matches with 0 rows
✅ Table 'metabus_teaching_plans' matches with 0 rows
✅ Table 'ncs_code' matches with 13351 rows
✅ Table 'base_inspects' matches with 0 rows
✅ Table 'migrations' matches with 97 rows
✅ Table 'resume_activities' matches with 0 rows
✅ Table 'personal_access_tokens' matches with 0 rows
✅ Table 'online_edu_contents' matches with 0 rows
✅ Table 'type_inspects' matches with 0 rows
✅ Table 'failed_jobs' matches with 0 rows
✅ Table 'competences' matches with 0 rows
✅ Table 'metabus_classes' matches with 0 rows
✅ Table 'dx_lecture_schedules' matches with 17 rows
✅ Table 'univs' matches with 4 rows
✅ Table 'community_files' matches with 4 rows
✅ Table 'experience_folders' matches with 0 rows
✅ Table 'expert_certifications' matches with 0 rows
✅ Table 'users' matches with 13 rows
✅ Table 'member_company_representative_history' matches with 0 rows
✅ Table 'admins' matches with 4 rows
✅ Table 'metabus_class_times' matches with 0 rows
✅ Table 'report_logs' matches with 0 rows
✅ Table 'digital_badges' matches with 4 rows
✅ Table 'performance_adult_friendly_edu_indexes' matches with 0 rows
✅ Table 'inspect_questions' matches with 256 rows
✅ Table 'resume_languages' matches with 0 rows
✅ Table 'digital_badge_issued_users' matches with 0 rows
✅ Table 'univ_admins' matches with 6 rows
✅ Table 'recruit_job_codes' matches with 1297 rows
✅ Table 'communities' matches with 8 rows
✅ Table 'metabus_class_logs' matches with 0 rows
✅ Table 'performances' matches with 48 rows
✅ Table 'resume_certificates' matches with 0 rows
✅ Table 'metabus_matterports' matches with 4 rows
✅ Table 'expert_histories' matches with 0 rows
✅ Table 'resumes' matches with 0 rows
✅ Table 'resume_careers' matches with 0 rows
✅ Table 'cache' matches with 60 rows
✅ Table 'resume_educations' matches with 0 rows
✅ Table 'ncs_licenses' matches with 21299 rows
✅ Table 'inspect_answers' matches with 0 rows
✅ Table 'dx_lectures' matches with 4 rows
✅ Table 'performance_dx_governance_indexes' matches with 0 rows
✅ Table 'online_edu_content_media' matches with 0 rows
✅ Table 'self_inspects' matches with 0 rows
✅ Table 'performance_active_job_transition_indexes' matches with 0 rows
✅ Table 'metabus_class_users' matches with 0 rows
✅ Table 'cache_locks' matches with 0 rows
✅ Table 'resume_technologies' matches with 0 rows
✅ Table 'digital_badge_configs' matches with 3 rows
✅ Table 'performance_dx_stakeholder_satisfactions' matches with 0 rows
✅ Table 'dx_categories' matches with 21 rows
✅ Table 'sessions' matches with 59 rows
✅ Table 'member_company_certification_status' matches with 2 rows
✅ Table 'recruit_infos' matches with 64099 rows
✅ Table 'performance_dx_employed_startup_rates' matches with 0 rows
✅ Table 'resume_self_introductions' matches with 0 rows
✅ Table 'expert_experiences' matches with 0 rows
✅ Table 'experiences' matches with 0 rows
✅ Table 'resume_awards' matches with 0 rows
✅ Table 'community_comments' matches with 1 rows
✅ Table 'online_edu_lectures' matches with 0 rows
✅ Table 'experts' matches with 0 rows
✅ Table 'platform_histories' matches with 0 rows
✅ Table 'performance_dx_attainment_degree_rates' matches with 0 rows
✅ Table 'performance_dx_completes' matches with 0 rows
✅ Table 'ncs_recommend_keywords' matches with 1083 rows
✅ Table 'ncs_self_inspects' matches with 1114 rows

✅ Databases are identical in structure and row count.

재취업 회사 개발환경 구성

jhansol — Sun, 15 Dec 2024 17:39:08 +0900

6월 말로 최종 퇴사 처리가 되었지만, 업무는 4월말로 끝이 났었습니다. 약 6개월의 백수(?, 놀기만 한건 아닌데)생활을 끝내고 새로운 회사에 취업을 하게 되었습니다. 회사 분위기도 살펴야하고, 프로젝트 환경, 프로젝트 수행 패턴 등 아직 적응해야할 것이 많아 조금은 긴장된 상태로 지내고 있습니다.

이 중에서 개발환경이 사실 적응이 않되어 제가 사용하던 도커 개발환경을 취업한 회사의 프로젝트에 맞추어 새로 만들었습니다. 본 글은 그 과정에 관련된 내용입니다.

도커 개발환경 구성 조건

PHP 7.4, 8.1, 8.2, 8.4 를 선택 가능하도록 한다.
도매인 모드, 사이트 모드 두 가지 모드를 지원해야 한다.
도매인 모드에서는 "프로젝트명"."wd" 또는 "다큐먼트 루트"."프로젝트명"."wd" 형태의 도매인을 지원해야 한다.
사이트 모드에서는 "다큐먼트 루트"."프로젝트명"."wd" 형태가 가능해야 하고, 요청한 주소를 기준으로 다큐먼트 루트로 지정되도록 한다.
PHP용 사용자 지정 라이브러를 추가 가능하도록 한다.
composer, NodeJs, git, vi 등을 사용할 수 있도록 한다.
docker-compose.yml 에서 PHP 버젼, 모드, 커스텀 INI, 다큐먼트 루트 등을 지정할 수 있도록 한다.

Dockerfile 구성

전체 구성은 아래와 같습니다.

FROM ubuntu:latest
ARG DEBIAN_FRONTEND=noninteractive
ENV TZ=Asia/Seoul
ENV LC_ALL=C.UTF-8

RUN apt update; \
    apt upgrade -y

WORKDIR /DevHome
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime; \
    echo $TZ > /etc/timezone

RUN apt update; \
    apt upgrade -y; \
    apt install -y gnupg curl ca-certificates zip unzip git libpng-dev python3 dnsutils librsvg2-bin fswatch ffmpeg nano apache2; \
    apt install -y software-properties-common; \ 
    apt install -y sudo vim mysql-client; \
    echo tzdata tzdata/Areas select Asia | debconf-set-selections; \
    echo tzdata tzdata/Zones/Asia select Seoul | debconf-set-selections; \
    echo "Asia/Seoul" > /etc/timezone; \
    ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime; \
    add-apt-repository -y ppa:ondrej/php; \
    apt update; \
    apt install -y --fix-missing php7.4-amqp php7.4-apcu php7.4-apcu-bc php7.4-ast php7.4-bcmath php7.4-bz2 php7.4-cli php7.4-curl php7.4-dev php7.4-ds php7.4-enchant \
    php7.4-excimer php7.4-gd php7.4-gearman php7.4-geoip php7.4-gmp php7.4-gnupg php7.4-http php7.4-igbinary php7.4-imap php7.4-ldap php7.4-json php7.4-mailparse \
    php7.4-memcache php7.4-mongodb php7.4-mysql php7.4-opcache php7.4-pgsql php7.4-raphf php7.4-rdkafka php7.4-readline php7.4-soap php7.4-solr php7.4-sqlite3 \
    php7.4-uuid php7.4-xml php7.4-xmlrpc php7.4-xml php7.4-xmlrpc php7.4-yaml php7.4-intl php7.4-mbstring php7.4-zip php7.4-redis php7.4-imagick php7.4-xdebug libapache2-mod-php7.4; \
    apt install -y --fix-missing php8.1-amqp php8.1-apcu php8.1-bcmath php8.1-bz2 php8.1-cli php8.1-curl php8.1-dba php8.1-dev php8.1-ds php8.1-enchant php8.1-gd php8.1-gearman \
    php8.1-gnupg php8.1-gmp php8.1-http php8.1-igbinary php8.1-imagick php8.1-imap php8.1-intl php8.1-ldap php8.1-mailparse php8.1-mbstring php8.1-mcrypt \
    php8.1-mysql php8.1-memcache php8.1-mongodb php8.1-opcache php8.1-pgsql php8.1-readline php8.1-raphf php8.1-rdkafka php8.1-readline php8.1-redis \
    php8.1-soap php8.1-solr php8.1-sqlite3 php8.1-uuid php8.1-xml php8.1-xmlrpc php8.1-xsl php8.1-zip php8.1-xdebug php8.1-yaml libapache2-mod-php8.1; \
    apt install -y --fix-missing php8.2-amqp php8.2-apcu php8.2-bcmath php8.2-bz2 php8.2-cli php8.2-curl php8.2-dba php8.2-dev php8.2-ds php8.2-enchant php8.2-gd php8.2-gearman \
    php8.2-gnupg php8.2-gmp php8.2-http php8.2-igbinary php8.2-imagick php8.2-imap php8.2-intl php8.2-ldap php8.2-mailparse php8.2-mbstring php8.2-mcrypt \
    php8.2-mysql php8.2-memcache php8.2-mongodb php8.2-opcache php8.2-pgsql php8.2-readline php8.2-raphf php8.2-rdkafka php8.2-readline php8.2-redis \
    php8.2-soap php8.2-solr php8.2-sqlite3 php8.2-uuid php8.2-xml php8.2-xmlrpc php8.2-xsl php8.2-zip php8.2-xdebug php8.2-yaml libapache2-mod-php8.2; \
    apt install -y --fix-missing php8.4-amqp php8.4-apcu php8.4-bcmath php8.4-bz2 php8.4-cli php8.4-curl php8.4-dba php8.4-dev php8.4-ds php8.4-enchant php8.4-gd php8.4-gearman \
    php8.4-gmp php8.4-gnupg php8.4-http php8.4-igbinary php8.4-imagick php8.4-imap php8.4-intl php8.4-ldap php8.4-mailparse php8.4-mbstring php8.4-mcrypt php8.4-mcrypt php8.4-memcache \
    php8.4-mongodb php8.4-mysql php8.4-opcache php8.4-pgsql php8.4-raphf php8.4-rdkafka php8.4-readline php8.4-redis php8.4-soap php8.4-sqlite3 php8.4-uuid php8.4-xdebug php8.4-xml \
    php8.4-xmlrpc php8.4-xsl php8.4-yaml php8.4-zip libapache2-mod-php8.4; \
    a2enmod rewrite vhost_alias ssl; \
    curl https://deb.nodesource.com/setup_lts.x | bash -; \
    apt install -y nodejs; \
    php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"; \
    php composer-setup.php --install-dir=/bin --filename=composer; \
    rm -f composer-setup.php

RUN sed -i 's/upload_max_filesize = 2M/upload_max_filesize = 200M/g' /etc/php/7.4/apache2/php.ini; \
    sed -i 's/memory_limit = 128M/memory_limit = 512M/g' /etc/php/7.4/apache2/php.ini; \
    sed -i 's/post_max_size = 8M/post_max_size = 250M/g' /etc/php/7.4/apache2/php.ini; \
    sed -i 's/short_open_tag = Off/short_open_tag = On/g' /etc/php/7.4/apache2/php.ini; \
    echo "xdebug.mode = develop,debug" >> /etc/php/7.4/mods-available/xdebug.ini; \
    echo "xdebug.client_host=host.docker.internal" >> /etc/php/7.4/mods-available/xdebug.ini; \
    echo "xdebug.client_port = 9000" >> /etc/php/7.4/mods-available/xdebug.ini; \
    sed -i 's/upload_max_filesize = 2M/upload_max_filesize = 200M/g' /etc/php/8.1/apache2/php.ini; \
    sed -i 's/memory_limit = 128M/memory_limit = 512M/g' /etc/php/8.1/apache2/php.ini; \
    sed -i 's/post_max_size = 8M/post_max_size = 250M/g' /etc/php/8.1/apache2/php.ini; \
    sed -i 's/short_open_tag = Off/short_open_tag = On/g' /etc/php/8.1/apache2/php.ini; \
    echo "xdebug.mode = develop,debug" >> /etc/php/8.1/mods-available/xdebug.ini; \
    echo "xdebug.client_host=host.docker.internal" >> /etc/php/8.1/mods-available/xdebug.ini; \
    echo "xdebug.client_port = 9000" >> /etc/php/8.1/mods-available/xdebug.ini; \
    sed -i 's/upload_max_filesize = 2M/upload_max_filesize = 200M/g' /etc/php/8.2/apache2/php.ini; \
    sed -i 's/memory_limit = 128M/memory_limit = 512M/g' /etc/php/8.2/apache2/php.ini; \
    sed -i 's/post_max_size = 8M/post_max_size = 250M/g' /etc/php/8.2/apache2/php.ini; \
    sed -i 's/short_open_tag = Off/short_open_tag = On/g' /etc/php/8.2/apache2/php.ini; \
    echo "xdebug.mode = develop,debug" >> /etc/php/8.2/mods-available/xdebug.ini; \
    echo "xdebug.client_host=host.docker.internal" >> /etc/php/8.2/mods-available/xdebug.ini; \
    echo "xdebug.client_port = 9000" >> /etc/php/8.2/mods-available/xdebug.ini; \
    sed -i 's/upload_max_filesize = 2M/upload_max_filesize = 200M/g' /etc/php/8.4/apache2/php.ini; \
    sed -i 's/memory_limit = 128M/memory_limit = 512M/g' /etc/php/8.4/apache2/php.ini; \
    sed -i 's/post_max_size = 8M/post_max_size = 250M/g' /etc/php/8.4/apache2/php.ini; \
    sed -i 's/short_open_tag = Off/short_open_tag = On/g' /etc/php/8.4/apache2/php.ini; \
    echo "xdebug.mode = develop,debug" >> /etc/php/8.4/mods-available/xdebug.ini; \
    echo "xdebug.client_host=host.docker.internal" >> /etc/php/8.4/mods-available/xdebug.ini; \
    echo "xdebug.client_port = 9000" >> /etc/php/8.4/mods-available/xdebug.ini

RUN rm -f /etc/apache2/sites-available/* /etc/apache2/sites-enabled/*; \
    rm -f /etc/apache2/mods-enabled/php*; \
    mkdir -p /usr/lib/php/custom; \
    systemctl stop apache2; \
    systemctl disable apache2


COPY index.php /var/www/html/index.php
COPY svhost.sh /usr/bin/svhost
COPY sphp.sh /usr/bin/sphp
COPY ssl_key/* /etc/ssl/private
ADD phpMyAdmin /var/www/html/myadmin
RUN mkdir -p /var/www/html/myadmin/tmp; \
    chown www-data:www-data /var/www/html/myadmin/tmp; \
    echo "ubuntu ALL=(ALL:ALL) NOPASSWD: ALL" > /etc/sudoers.d/ubuntu
COPY docker_entrypoint.sh /usr/bin/docker_entrypoint.sh
COPY confs/* /etc/apache2/sites-available

RUN chmod 0755 /usr/bin/svhost; \
    chmod 0755 /usr/bin/sphp; \
    chmod 0755 /usr/bin/docker_entrypoint.sh

VOLUME [ "/DevHome", '/usr/lib/php/custom' ]

EXPOSE 80 443 5173 8080

ENTRYPOINT [ "docker_entrypoint.sh" ]

CMD ["apache2ctl", "-D", "FOREGROUND"]

도매인모드, 사이트모드를 위한 Apache 설정파일

사이트 모드의 경우 이전에 구성했던 환경과 동일합니다. 그래서 사이트 모드 설정 파일sites.conf 파일은 이전 글을 참고해주세요. 본 글에서는 도매인 모드에 대해서만 추가 설명을 하도록 하겠습니다. 이 설정 파일은 conf 라는 폴더에 함께 작성해두었습니다.

domains.conf

<VirtualHost *:80>
    ServerName localhost
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /var/www/html>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>
</VirtualHost>

<VirtualHost *:80>
    ServerName server.wd
    ServerAlias *.*.wd

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/domains/%2/docroot

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/domains/*/docroot>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>
</VirtualHost>

<VirtualHost *:443>
    ServerName server.wd
    ServerAlias *.*.wd

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/domains/%2/docroot

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/domains/*/docroot>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>

    SSLEngine on
    SSLCertificateKeyFile /etc/ssl/private/dev.key
    SSLCertificateFile /etc/ssl/private/dev.crt
</VirtualHost>

<VirtualHost *:80>
    ServerName server.wd
    ServerAlias *.wd

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/domains/%1/docroot

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/domains/*/docroot>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>
</VirtualHost>

<VirtualHost *:443>
    ServerName server.wd
    ServerAlias *.wd

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/domains/%1/docroot

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/domains/*/docroot>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>

    SSLEngine on
    SSLCertificateKeyFile /etc/ssl/private/dev.key
    SSLCertificateFile /etc/ssl/private/dev.crt
</VirtualHost>

위 파일은 총 5개의 virtualHost 블록을 가지고 있습니다.

번째 블록은 http://localhost로 접속했을 때 출력되는 데시보드와 데이터베이스 관리를 위한 PhpMyAdmin 기능을 사용할 수 있습니다.
두 번째 및 세 번째 블록은 "다큐먼트 루트"."프로젝트명"."wd" 형태의 도매인으로 접속하는 경우에 사용됩니다.
네 번째 블록과 다섯 번째 블록은 "프로젝트명"."wd" 형태의 도매인으로 접속하는 경우에 사용됩니다.

첫 번째 블록을 제외한 나머지 블록에는 아래와 같은 VirtualDocumentRoot 라는 항목이 있습니다. 이 부분이 접속하는 도매인 주소에 따라 동적으로 다뮤먼트 루트를 결정하는 핵심적인 부분입니다. 아래 내용 중 %2 는 접속한 도매인 주소를 "."으로 구분했을 때 두 번째 것을 뜻합니다. 이 부분은 주로 "프로젝트명"이 될 것입낟.

VirtualDocumentRoot /DevHome/domains/%2/docroot

위 내용 중 docroot는 다큐먼트 루트 폴더를 지정한 것입니다만. 이 부분은 개발환경 시작 시점에 svhost 명령에 의해 수정될 것입니다. docker-compose.yml의 DOCUMENT_ROOT 환경변수 전달받아 svhost가 해당 부분을 대체하도록 되어 있습니다.

sites.conf

이 파일은 전체 내용만 올려두겠습니다.

<VirtualHost *:80>
    ServerName admin.sites.wd
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /var/www/html>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>
</VirtualHost>

<VirtualHost *:80>
    ServerName server.wd
    ServerAlias *.*.wd
    UseCanonicalName Off

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/sites/%2/%1

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/sites/*/*>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>
</VirtualHost>

<VirtualHost *:443>
    ServerName server.wd
    ServerAlias *.*.wd
    UseCanonicalName Off

    ServerAdmin webmaster@localhost
    VirtualDocumentRoot /DevHome/sites/%2/%1

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Directory /DevHome/sites/*/*>
        DirectoryIndex index.php index.html index.htm
        Options Indexes FollowSymLinks Multiviews
        AllowOverride All
        Order allow,deny
        Allow from All
        Require all granted
    </Directory>

    SSLEngine on
    SSLCertificateKeyFile /etc/ssl/private/dev.key
    SSLCertificateFile /etc/ssl/private/dev.crt
</VirtualHost>

HTTPS 프로토콜을 위한 인증서

인증서 파일은 제가 이번에 작업하면서 새로 자체 서명한 인증서 파일을 적용했습니다. 과거의 인증서 파일은 설정 파일에 명기된 ServerName과 일치하지 않아 정상적으로 동작하지 않는 문제가 있었습니다. 이 파을들은 ssl_key 라는 폴더에 넣어 두었습니다.

로컬 호스트 웹 루터 폴드 파일

http://localhost로 접속했을 때 처음에는 현재 가발환경의 사용자가 지정한 모드에서 실행되는 프로젝트 목록과, 시스템 정보를 출력하는 데시보드가 출력되고, 상단에 데이터베이스를 관리하는 PhpMyAdmin 링크가 출력됩니다. /var/www/html 폴더에 index.php, PhpMyAdmin 폴더 가 복사되어 들어갑니다.

index.php

<?php
    function checkSites() {
        if(file_exists('/etc/apache2/sites-enabled/sites.conf')) return 1;
        elseif(file_exists('/etc/apache2/sites-enabled/domains.conf')) return 0;
        else return -1;
    }

    function getDocRoot() {
        $conf = '/etc/apache2/sites-enabled/domains.conf';
        if(file_exists($conf)) {
            $content = file_get_contents($conf, true);
            preg_match_all('/\/DevHome\/domains\/%2\/(.*)/', $content, $matches);
            if(count($matches) == 2) {
                return reset($matches[1]);
            }
        }
        return null;
    }

    $is_sites = checkSites();
    $part_name = null;
    if($is_sites == 1) $part_name = '일반';
    elseif($is_sites == 0) $part_name = '도매인 사이트';
    else $part_name = '미설정';

    $domain_suffix = "wd";
    $sites = array();
    $docroots = array(
        'docroot', 'html', 'public_html', 'public', 'web', 'webroot', 'www', 'wwwroot'
    );

    if($is_sites == 1) {
        $base = '/DevHome/sites';
        $dh = opendir( $base );
        if( $dh ) {
            while( ($entry = readdir( $dh )) ) {
                foreach( $docroots as $docroot ) {
                    if( $entry == '..' || $entry == '.' ) continue;
                    if( filetype( $base . '/' . $entry . '/' . $docroot ) == 'dir' ) {
                        $sites[] = array(
                            'https_url' => "https://$docroot.$entry.$domain_suffix",
                            'http_url' => "http://$docroot.$entry.$domain_suffix",
                            'sitename' => $entry
                        );
                        break;
                    }
                }
            }
        }
    }
    elseif($is_sites == 0 && ($domain_docroot = getDocRoot()) != null) {
        $base = '/DevHome/domains';
        $dh = opendir( $base );
        if($dh) {
            while( ($entry = readdir( $dh )) ) {
                if( $entry == '..' || $entry == '.' ) continue;
                if( filetype( $base . '/' . $entry . '/' . $domain_docroot ) == 'dir' ) {
                    $sites[] = array(
                        'https_url' => "https://www.$entry.$domain_suffix",
                        'http_url' => "http://www.$entry.$domain_suffix",
                        'sitename' => $entry
                    );
                }
            }
        }
    }

?>

<!DOCTYPE html>
<html lang="ko">
    <head>
        <meta charset="UTF-8"/>
        <title>Site Helper</title>
        <script src="https://code.jquery.com/jquery-3.2.1.slim.min.js" integrity="sha384-KJ3o2DKtIkvYIK3UENzmM7KCkRr/rE9/Qpg6aAZGJwFDMVNA/GpGFF93hXpG5KkN" crossorigin="anonymous"></script>
        <script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.12.9/umd/popper.min.js" integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q" crossorigin="anonymous"></script>
        <script src="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/js/bootstrap.min.js" integrity="sha384-JZR6Spejh4U02d8jOt6vLEHfe/JQGiRRSQQxSfFWpi1MquVdAyjUar5+76PVCmYl" crossorigin="anonymous"></script>
        <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/css/bootstrap.min.css" integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm" crossorigin="anonymous">
    </head>
    <body>
        <nav class="navbar navbar-expand-lg navbar-light bg-light">
            <a class="navbar-brand" href="#">Site Helper</a>
            <button class="navbar-toggler" type="button" data-toggle="collapse" data-target="#navbarSupportedContent" aria-controls="navbarSupportedContent" aria-expanded="false" aria-label="Toggle navigation">
                <span class="navbar-toggler-icon"></span>
            </button>

            <div class="collapse navbar-collapse" id="navbarSupportedContent">
                <ul class="navbar-nav mr-auto">
                    <li class="nav-item">
                        <a href="./myadmin" title="phpMyAdmin">데이터베이스 관리</a>
                    </li>
                </ul>
            </div>
        </nav>

        <div class="container mt-5">
            <div class="card">
                <div class="card-header">사이트 목록 (<?=$part_name?>)</div>
                <div class="card-body">
                    <?php foreach( $sites as $site ): ?>
                        <div class="d-inline-block rounded m-2 bg-white" style="box-shadow: 1px 1px 10px 1px #aaa">
                            <div class="d-inline-block px-4 py-2 bg-info text-white"><?=$site['sitename']?></div>
                            <div class="d-inline-block p-2">
                                <a class="m-1 p-1 text-success" href="<?=$site['https_url']?>" title="https">https</a>
                                <a class="m-1 p-1 text-secondary" href="<?=$site['http_url']?>" title="http">http</a>
                            </div>
                        </div>
                    <?php endforeach; ?>
                </div>
            </div>
        </div>

        <div class="container mt-5">
            <div class="card">
                <div class="card-header">시스템 정보</div>
                <div class="card-body">
                    <?php phpinfo(); ?>
                </div>
            </div>
        </div>
    </body>
</html>

PhpMyAdmin 의 config.inc.php

본 개발환경은 도커를 기반으로 실행됩니다. 그래서 config.inc.php를 config.sample.inc.php를 복사한 후 접속 서버 정보를 아래와 같이 호스트 정보를 host.docker.internal로 수정해주어야 합니다.

<?php
/**
 * phpMyAdmin sample configuration, you can use it as base for
 * manual configuration. For easier setup you can use setup/
 *
 * All directives are explained in documentation in the doc/ folder
 * or at <https://docs.phpmyadmin.net/>.
 */

declare(strict_types=1);

/**
 * This is needed for cookie based authentication to encrypt the cookie.
 * Needs to be a 32-bytes long string of random bytes. See FAQ 2.10.
 */
$cfg['blowfish_secret'] = ''; /* YOU MUST FILL IN THIS FOR COOKIE AUTH! */

/**
 * Servers configuration
 */
$i = 0;

/**
 * First server
 */
$i++;
/* Authentication type */
$cfg['Servers'][$i]['auth_type'] = 'cookie';
/* Server parameters */
$cfg['Servers'][$i]['host'] = 'host.docker.internal';
$cfg['Servers'][$i]['compress'] = false;
$cfg['Servers'][$i]['AllowNoPassword'] = false;

/** 이하 생략 */

사용자 지정 PHP 라이브러리 추가를 위한 설정

새로 취업한 회사에서는 본인 인증을 위해 국내 서비스 기업의 PHP 전용 라이브러리를 사용하고 있었습니다. 이렇게 환경에 따라 라이브러리가 추가되어야 할 경우를 대비하여 docker-compose.yml 이 있는 폴더 아래에 lib라는 폴더를 생성하고, 폴더에 적용할 라이브러리 파일과 라이브러리를 로드하기 위한 INI 파일을 넣어 둡니다. 설정파일의 예는 아래와 같습니다.

custom-sample.ini

extension=/usr/lib/php/custom/okcert3_2.0.2_ext_linux64_glibc2.17__8.1.so

docker-compose.yml

도커 컴포즈를 이용하여 개발환경을 실행하기 위한 파일로 위 내용을 모두 적용하도록 한 파일을 예로 올려 둡니다. 이 파일을 직접 수정해서 사용하거나 뒤에 소개될 dinit.sh를 이용하여 간단하게 만들어 줄 수도 있습니다.

name: PHP_DEV

volumes:
  sql_data:

services:
  db:
    image: mariadb
    command: --max_allowed_packet=536870912
    environment:
      MARIADB_ROOT_PASSWORD: mysql
    ports:
      - 3306:3306
    volumes:
      - sql_data:/var/lib/mysql

  web:
    image: pig482/devenv:ap78
    environment:
      PHP: 8.1
      CONF: domains
      CUSTOM_INI: custom.ini
      DOCUMENT_ROOT: public
    ports:
      - 80:80
      - 443:443
      - 5173:5173
      - 8080:8080
    volumes:
      - ./webroot:/DevHome
      - ./lib:/usr/lib/php/custom

docker_entrypoint.sh

도커 개발환경이 실행될 때, 이 파일은 docker-compose.yml에 기록된 환경변수를 받아 실행하도록 합니다. 저의 경우 이 파일에는 PHP, CONF, CUSTOM_INI, DOCUMENT_ROOT 등의 환경변수를 받아 Apache 웹서버가 동작하도록 합니다.

#!/bin/bash

/usr/bin/sphp "$PHP"
/usr/bin/svhost "$CONF" "$DOCUMENT_ROOT"
if [ -f "/usr/lib/php/custom/${CUSTOM_INI}" ]; then
    ln -s "/usr/lib/php/custom/${CUSTOM_INI}" "/etc/php/${PHP}/apache2/conf.d/35-${CUSTOM_INI}"
    ln -S "/usr/lib/php/custom/${CUSTOM_INI}" "/etc/php/${PHP}/apache2/conf.d/35-${CUSTOM_INI}"
    ln -s "/usr/lib/php/custom/${CUSTOM_INI}" "/etc/php/${PHP}/cli/conf.d/35-${CUSTOM_INI}"
    ln -S "/usr/lib/php/custom/${CUSTOM_INI}" "/etc/php/${PHP}/cli/conf.d/35-${CUSTOM_INI}"
fi
exec "$@"

sphp.sh

이 스크립트 파일은 개발환경 내에서 PHP 버전을 변경하는 기능을 가지고 있습니다. 내용은 아래와 같습니다.

#!/bin/bash

if [ "$1" == "7.4" ]; then
    a2enmod php7.4
    update-alternatives --set php /usr/bin/php7.4
elif [ "$1" == "8.1" ]; then
    a2enmod php8.1
    update-alternatives --set php /usr/bin/php8.1
elif [ "$1" == "8.2" ]; then
    a2enmod php8.2
    update-alternatives --set php /usr/bin/php8.2
elif [ "$1" == "8.4" ]; then
    a2enmod php8.4
    update-alternatives --set php /usr/bin/php8.4
fi

svhost.sh

이 스크립트 파일은 Apache 웹 서버가 도매인모드, 사이트 모드 중 하나로 동작하도록 합니다. 내용은 아래와 같습니다.

#!/bin/bash

# 도메인 기반 사이트 환경설정 활성화
function domain_link()
{
    file="/etc/apache2/sites-available/domains.conf"
    if [ -e $file ]; then
        sed -i "s/\/DevHome\/domains\/%2\/.*$/\/DevHome\/domains\/%2\/$1/g" $file
        sed -i "s/\/DevHome\/domains\/%1\/.*$/\/DevHome\/domains\/%1\/$1/g" $file
        sed -i "s/\/DevHome\/domains\/\*\/[^>]*/\/DevHome\/domains\/\*\/$1/g" $file
        if [ ! -e "/etc/apache2/sites-enabled/domains.conf" ]; then
            ln -s $file "/etc/apache2/sites-enabled/domains.conf"
        fi
        echo 1
    else
        echo 0;
    fi
}

# 개별 사이트 환경설정 활성화
function sites_link()
{
    file="/etc/apache2/sites-available/sites.conf"
    if [ -e $file ]; then
        if [ ! -e "/etc/apache2/sites-enabled/sites.conf" ]; then
            ln -s $file "/etc/apache2/sites-enabled/sites.conf"
        fi
        echo 1
    else
        echo 0
    fi
}

case $1 in
    sites)
        sites_link
        ;;
    domains)
         domain_link $2
        ;;
esac

dinit.sh

이 파일은 없어도 되는 파일입니다. docker-compose.yml을 직접 편집하기 힘든 사용자를 위한 스크립트 파일입니다. 내용은 아래와 같습니다.

#!/bin/bash

PHP=""
CONF=""
CUSTOM_INI=""
DOCUMENT_ROOT=""

EXIT=0
while [ $EXIT -eq 0 ]
do
    echo " 1. Init Directory (webroot, webroot/sites, webroot/domains, lib) "
    echo ""
    echo " Domains Evironment "
    echo " 2. PHP 7.4 "
    echo " 3. PHP 8.1 "
    echo " 4. PHP 8.2 "
    echo " 5. PHP 8.4 "
    echo ""
    echo " Sites Environment "
    echo " 6. PHP 7.4 "
    echo " 7. PHP 8.1 "
    echo " 8. PHP 8.2 "
    echo " 9. PHP 8.4 "
    echo " 0. Exit "

    read -p "Select Number : " NO
    case "$NO" in
        1)
            mkdir webroot 2> /dev/null
            mkdir -p webroot/sites 2> /dev/null
            mkdir -p webroot/domains 2> /dev/null
            mkdir -p lib 2> /dev/null
            ;;
        2)
            PHP="7.4"
            CONF="domains"
            EXIT=1
            ;;
        3)
            PHP="8.1"
            CONF="domains"
            EXIT=1
            ;;
        4)
            PHP="8.2"
            CONF="domains"
            EXIT=1
            ;;
        5)
            PHP="8.4"
            CONF="domains"
            EXIT=1
            ;;
        6)
            PHP="7.4"
            CONF="sites"
            EXIT=1
            ;;
        7)
            PHP="8.1"
            CONF="sites"
            EXIT=1
            ;;
        8)
            PHP="8.2"
            CONF="sites"
            EXIT=1
            ;;
        9)
            PHP="8.4"
            CONF="sites"
            EXIT=1
            ;;
        0)
            exit 0
            ;;
        *)
            echo " Wrong number."
            ;;
    esac
done

if [ $EXIT -eq 1 ]; then
    read -p "PHP Custom extension ini file name : " INI
    if [ -f "./lib/${INI}" ]; then
        CUSTOM_INI=$INI
    fi

    read -p "Type Document root directory name (Domains only) : " DIR
    DOCUMENT_ROOT=$DIR

    if [ -f "docker-compose.yml" ]; then
        rm -f docker-compose.yml
    fi

    echo "name: PHP_DEV" > docker-compose.yml
    echo "" >> docker-compose.yml
    echo "volumes:" >> docker-compose.yml
    echo "  sql_data:" >> docker-compose.yml
    echo "" >> docker-compose.yml
    echo "services:" >> docker-compose.yml
    echo "  db:" >> docker-compose.yml
    echo "    image: mariadb" >> docker-compose.yml
    echo "    command: --max_allowed_packet=536870912" >> docker-compose.yml
    echo "    environment:" >> docker-compose.yml
    echo "      MARIADB_ROOT_PASSWORD: mysql" >> docker-compose.yml
    echo "    ports:" >> docker-compose.yml
    echo "      - 3306:3306" >> docker-compose.yml
    echo "    volumes:" >> docker-compose.yml
    echo "      - sql_data:/var/lib/mysql" >> docker-compose.yml
    echo "" >> docker-compose.yml
    echo "  web:" >> docker-compose.yml
    echo "    image: pig482/devenv:ap78" >> docker-compose.yml
    echo "    environment:" >> docker-compose.yml
    echo "      PHP: ${PHP}" >> docker-compose.yml
    echo "      CONF: ${CONF}" >> docker-compose.yml

    if [ -n "./lib/${CUSTOM_INI}" ]; then
        echo "      CUSTOM_INI: ${CUSTOM_INI}" >> docker-compose.yml
    fi

    echo "      DOCUMENT_ROOT: ${DOCUMENT_ROOT}" >> docker-compose.yml
    echo "    ports:" >> docker-compose.yml
    echo "      - 80:80" >> docker-compose.yml
    echo "      - 443:443" >> docker-compose.yml
    echo "      - 5173:5173" >> docker-compose.yml
    echo "      - 8080:8080" >> docker-compose.yml
    echo "    volumes:" >> docker-compose.yml
    echo "      - ./webroot:/DevHome" >> docker-compose.yml

    if [ -n "./lib/${CUSTOM_INI}" ]; then
        echo "      - ./lib:/usr/lib/php/custom" >> docker-compose.yml
    fi

    echo "Init docker-compose.yml file"
fi

파일 준비

위 내용의 모든 파일은 저의 Github 저장소에 등록되어 있습니다. 저장소의 내용을 내려 받아 활용하는 것이 편할 것입니다. 폴더 구조를 간단하게나마 보자면 아래와 같습니다.

.
├─confs
│ ├─domains.conf
│ └─sites.conf
├─phpMyAdmin
│ └─config.inc.php
├─custom-sample.ini
├─dinit.sh
├─Dockerfile
├─index.php
├─sphp.sh
├─svhost.sh
└─ssl_key
  ├─dev.crt
  └─dev.key

도커 이미지 빌드

저의 경우 Docker Hub에 제가 작성한 이미지를 등록해두고 화룡하고 있습니다. 아래와 같이 빌드를 하지 않고 제가 올려둔 이미지를 이용할 수도 있습니다. 저는 아래와 같이 빌드하여 도커 호브에 푸시했습니다.

j-hansol / Dev-Environment

docker build -t pig482/devenv:ap78 .
docker push pig482/devenv:ap78

docker-compose 파일 생성

위에 언급한 docker-compose.yml을 아래와 같이 dinit.sh를 이용하여 생성합니다. 참고로 저는 wsl 환경에서 실행했습니다. 아래와 같이 모드와 PHP 버전을 번호를 입력하여 선택하고 라이브러리 설장 파일의 이름을 지정하고, 마지막으로 다큐먼트 루트 폴더명을 입력하면 docker-compose.yml 이 완성됩니다.

$ sh dinit.sh
 1. Init Directory (webroot, webroot/sites, webroot/domains, lib)

 Domains Evironment
 2. PHP 7.4
 3. PHP 8.1
 4. PHP 8.2
 5. PHP 8.4

 Sites Environment
 6. PHP 7.4
 7. PHP 8.1
 8. PHP 8.2
 9. PHP 8.4
 0. Exit
Select Number : 3
PHP Custom extension ini file name : custom.ini
Type Document root directory name (Domains only) : public
Init docker-compose.yml file
$

개발환경 실행

개발관경 실행과 종료는 아래의 명령을 이용하면 됩니다.

개발환경 실행

docker-compose up -d

개발환경 종료

docker-compose down

개발환경 접속

docker-compose exec web bash

또는

docker-compose exec -u ubuntu web bash

웹 브로우즈 접속

데시보드와 데이터베이스 관리를 위해서는 아래와 같이 접속합니다.

http://localhost

각 프로젝트 사이트 접속은 아래와 같이 가능합니다. 예를 들자면...

http://public.project.wd
https://public.project.wd
http://project.wd
https://project.wd

마치며

자세하게 기록하자면 너무 많아 간단하게 적는다고 적었는데 그래도 내용이 많은 듯 하네요. 나름데로 회사에서 진행하는 프로젝트나, 저의 개인적으로 진행하는 사이드 프로젝트 등에 잘 활용할 듯 합니다. 무엇보다 본인 인증과 같은 기능을 추가하는 경우 위부 라이브러리를 사용할 수 있도록 만들었다는 점에서 매우 흡족합니다.

그리고 회사에서는 XAMPP를 이용하고 있는데, 이 환경에서는 외부 라이브러리를 적용할 수 없다는 점에서 "역시 개발은 linux, Mac, Docker 환경이 좋구나" 하는 생각을 했습니다.

그누보드 6 설치하기, 삽질기

jhansol — Fri, 21 Jun 2024 02:21:07 +0900

참! 요즘 다양하게 시도해봅니다. 오늘은 저의 주종목이 아닌 Python과 관련된 내용입니다. 오늘 저의 지인분이 마무리하지 못한 프로젝트를 받아 마무리하는 것으로 협의가 되었습니다. 그누보드로 되어 있다고 해서 덥석 받았더니만, URL 형식이 그누보드 5의 형식이 아닌 것을 확인하고 사이트에 들어 가보니 그누보드 6이 올라와 있네요. 그런데, 이건 Python으로 되어 있네요. ㅠㅠ. 아직 소스는 받아보지 못했는데 밤이 늦어 내일 확인하고 받아봐야 할 것 같습니다. 그누보드 6여야 하는데....
그러면 받지 않았을 텐데

~~~ 아~~

받았으니 마무리를 지어야 하겠죠?

그래서 일단 설치를해서 사용해보려고 합니다.

그누보드 설치

그누보드 6는 아직 안정화 버전이 아니고, 공부하는 사람에게 추천한다고 되어 있습니다. 그래서인지 Github 저장소에서 받아 설치하도록 되어 있습니다.

git clone https://github.com/gnuboard/g6.git

내려받은 폴더로 이동한 후 가상환경에서 실행하도록 하고 있습니다. 그런데 Ubuntu에서는 가상환경을 생성할 수 없다고 하네요. 그래서 가상환경을 생성하기 전에 필요한 패키지를 먼저 설채해줘야 합니다.

cd g6
apt install python3.12-venv
python3 -m venv venv

가상환경을 생성했으면 아래의 명령으로 가상환경을 활성화해줍니다. 그리고 필요한 패키지를 설치합니다.

source venv/bin/activate
pip3 install -r requirements.txt

데이터베이스 준비

노트북에는 MySQL 8.0이 설치되어 있습니다. 그누보드용 데이터베이스를 준비해두겠습니다. 현재 개발용으로 dbadmin이라는 계정이 있으므로 데이터베이스만 생성했습니다.

create database test_gnu;

그누보드 실행

uvicorn을 이용하여 그누보드 어플리케이션을 실행합니다. 저의 Ubuntu 노트북에는 이미 nginx가 80번 포트로 실행되고 있기 때문에 uvicorn 의 기본 포트인 8000 포트로 실행을 해줍니다. 이 경우 포트부분은 생략해도 됩니다. 하지만 그누보드 문서에는 이렇게 되어 있어 그냥 적어뒀습니다.

uvicorn main:app --reload --host 0.0.0.0 --port 8000

브라우즈로 접속하여 설치 마무리

아래 그림과 같이 브라우즈로 접속하면 env 파일이 없습니다. 설치를 진행주세요 라고 메시지가 출력됩니다. 확인클릭하여 다음 화면으로 진행합니다.

그러면 아래 그림과 같이 그누보드 6 안내 페이지가 표시됩니다. 아래의 설치하기 버튼을 클릭하여 설치를 진행합니다.

라이센스 안내 페이지에서 동의합니다에 체크한 후 다음 버튼을 클릭합니다.

설치의 마지막 단계로 데이터베이스 설정을 해야합니다. 저의 경우 MySQL, 계정은 dbadmin, 비밀번호는 xxxx, 데이터베이스 이름은 test_gnu, 그리고 사이트 관리자 계정의 비밀번호를 지정하고 다음 버튼을 클릭했습니다.

데이터베이스 설정을 마무리하면 설치를 마무리하는 화면이 출력되고, 이어 매인으로 이동 버튼이 표시됩니다. 설치가 완료되었으니 버튼을 클릭하여 매인 화면으로 이동합니다.

그러면 아래 그림과 같이 매인화면이 출력됩니다.

관리자 계정으로 로그인한 후 우측 상단의 사용자 아이콘을 클릭하면 관리자 메뉴가 보입니다. 이 메뉴를 클릭하면 관리자용 페이지로 접근할 수 있습니다.

관리자 화면은 기존 그누보드 5와는 차이가 많아 보이고, 아직 개발중이라는 느낌이 듭니다.

마치며...

아들과 파이썬을 공부하면서 익숙하지 않은 언어로 PHP 만큼 개발할 수 있을까하는 막연함으로 입문정도만 하고 말았었는데, 설치 과정에서 공부의 목적으로 해보는 것으로눈 좋을 것 같습니다. 오늘의 일을 계기로 파이선을 활용하는 시발점이 대기를 기대해봅니다. 그리고 파이선 웹 서비스 서버 실행환경 설정을 맛볼 수 있는 좋은 계기였습니다.

그리고 한 가지 더!!!

가상환경을 생성하고 활성화는 했는데, 비활성화하는 명령(deactive)이 없다고 나오네요. 구글링, ChatGPT를 이용해 확인해보니 해당 명령으로 비활성화한다고 되어 있으나 해당 명령이 없다고 나옵니다. 혹 이 부분 아시는 분 있을까요?

자라보고 놀란 가슴 솥뚜껑보고 놀란다.

아놔~
포스팅하고 그누보드 5의 클린 URL(그누보드 환경설정에는 짧은주소라고 표현됨) 설정에 관련된 내용을 구글링하니 내용이 있군요. 그누보드를 많이 사용해보지 않은 티가 팍팍 납니다. 우리 속담에 자라보고 놀란 가슴 솥뚜껑보고 날란다. 이 있는데, 제가 딱 그짝이네요.

아래 링크를 클릭하면 해당 설정에 대한 메뉴얼을 볼 수 있습니다.

짤은주소

저의 노트북에는 Nginx가 설치되어 있어 숫자에 체크한 후 Nginx 설정 코드 보기를 클릭하여 내용을 복사한 후 서버 설정에 적용한 후 Nginx를 재실행했습니다. 설정 전체 내용은 아래와 같습니다.

server {
        listen 80 default_server;
        listen [::]:80 default_server;

        root /var/www/html;

        index index.php index.html index.htm index.nginx-debian.html;

        server_name localhost admin.sites.wd;

        location / {
                try_files $uri $uri/ /index.php?$query_string;
        }

        location = /favicon.ico { access_log off; log_not_found off; }
        location = /robots.txt { access_log off; log_not_found off; }

        location ~ \.php$ {
                fastcgi_pass unix:/run/php/php8.2-fpm.sock;
                fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;
                include fastcgi_params;
                fastcgi_hide_header X-Powered-By;
        }

        location ~ /\.(?!well-known).* {
                deny all;
        }
}

server {
        listen 80;
        listen [::]:80;

        listen 443;
        listen [::]:443;

        ssl_certificate /etc/ssl/private/dev.crt;
        ssl_certificate_key /etc/ssl/private/dev.key;

        index index.php index.html index.htm index.nginx-debian.html;

        server_name ~^(?<host_name>[\w\-]+)\.(?<organization>[\w\-]+)\.wd$;

        set $site /home/jhansol/sites/$organization/$host_name;
        root $site;

        location / {
                try_files $uri $uri/ /index.php?$query_string;
        }

        location = /favicon.ico { access_log off; log_not_found off; }
        location = /robots.txt { access_log off; log_not_found off; }

        location ~ \.php$ {
                fastcgi_pass unix:/run/php/php8.2-fpm.sock;
                fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;
                include fastcgi_params;
                fastcgi_hide_header X-Powered-By;
        }

        if (!-e $request_filename) {
                rewrite ^/shop/list-([0-9a-z]+)$ /shop/list.php?ca_id=$1&rewrite=1 break;
                rewrite ^/shop/type-([0-9a-z]+)$ /shop/listtype.php?type=$1&rewrite=1 break;
                rewrite ^/shop/([0-9a-zA-Z_\-]+)$ /shop/item.php?it_id=$1&rewrite=1 break;
                rewrite ^/shop/([^/]+)/$ /shop/item.php?it_seo_title=$1&rewrite=1 break;
                rewrite ^/content/([0-9a-zA-Z_]+)$ /bbs/content.php?co_id=$1&rewrite=1 break;
                rewrite ^/content/([^/]+)/$ /bbs/content.php?co_seo_title=$1&rewrite=1 break;
                rewrite ^/rss/([0-9a-zA-Z_]+)$ /bbs/rss.php?bo_table=$1 break;
                rewrite ^/([0-9a-zA-Z_]+)$ /bbs/board.php?bo_table=$1&rewrite=1 break;
                rewrite ^/([0-9a-zA-Z_]+)/write$ /bbs/write.php?bo_table=$1&rewrite=1 break;
                rewrite ^/([0-9a-zA-Z_]+)/([^/]+)/$ /bbs/board.php?bo_table=$1&wr_seo_title=$2&rewrite=1 break;
                rewrite ^/([0-9a-zA-Z_]+)/([0-9]+)$ /bbs/board.php?bo_table=$1&wr_id=$2&rewrite=1 break;
        }
}

Nginx 기반 Docker 개발환경 만들기, 삽질기

jhansol — Tue, 18 Jun 2024 21:07:56 +0900

이번에는 기존에 자가 사용하고 있는 도커 개발환경(Apache 기반)을 두고, 새롭게 Nginx 기반으로 개발환경을 구성해봤습니다. 새롭게 환경을 구성하게된 동기, 구성 과정, 구성후 느낌 정도를 포스팅하고자 합니다.

구성 동기

최근(아니 최근 1년)에는 Lravel Blade 기반의 프론트엔드부분을 개발할 일이 없어 젼혀 모르고 있다가, 사이드 프로젝트를 진행하려고 준비를 하는 과정에 CSS와 Blade 파일을 수정했는데 핫 리로드 기능이 동작하지 않는 것을 확인했습니다. 이 기능이 없었을 때는 어래 그려려니 했지만 막상 사용하다 않되니 너무 불편했습니다.
원래는 아래와 같이 CSS나 Blade 파일을 수정하면 수정을 감지하고 페이지를 리로드해줘야 합니다.

7:56:26 PM [vite] page reload resources/views/test.blade.php

그리고 Docker 개발환경에서 웹사이트 응답속도가 느려도 너무나 느린 것입니다. 이참에 Apache 기반이 아닌 Nginx 기반 환경으로 바꿔보고 싶은 것도 하나의 동기입니다.

구성 과정

AI의 도움을 받다.

서버 구성을 자주 하는 것도 아니고, 기억이 안나는 문제도 있었지만 Nginx의 경우 익숙하지 않은 것이라 ChatGPT에게 도움을 요청했습니다.

nginx의 가상 호스트 설정에서 도매인 주소의 host name을 기빈으로 디렉토리를 지정하는 방법이 없을까?

ChatGPT는 맵을 이용한 멀티 도매인 제안을 해주었습니다.

http {
    map $host $root_path {
        hostnames;
        example.com   /var/www/example.com/public_html;
        example.org   /var/www/example.org/public_html;
        default       /var/www/default/public_html;
    }

    server {
        listen 80;
        server_name example.com www.example.com example.org www.example.org;

        root $root_path;

        location / {
            try_files $uri $uri/ =404;
        }
    }
}

하지만 저의 경우에는 "http://public.web.wd"와 같이 주소가 주어졌을 때 "/DevHome/web/public" 형태로 도큐먼트 루타가 결정되는 형태로 되어야 하는데, 저와는 맞지 않았습니다. 그래서...

map을 이용하지 않고 일정한 규칙에 따라 디렉토리가 결정되면 좋을 것 같은데, 예를 들어 a.sites.wd의 경우 /dev/a/public_html, b.sites.wd의 경우 /dev/b/public_html 로 연결되었으면 해.

server {
    listen 80;
    server_name ~^(?<subdomain>\w+)\.sites\.wd$;

    location / {
        root /dev;
        alias /dev/$subdomain/public_html;
        try_files $uri $uri/ =404;
    }
}

위 내용을 적용해보니 Nginx가 오류를 표시하고는 실행이 안되길래 다시 물었습니다.

"alias" directive is duplicate, "root" directive was specified earlier in /etc/nginx/sites-enabled/default:17
이 메시지에 대해 설명해줘

nginx 설정 파일에서 root 지시어와 alias 지시어는 서로 다르게 동작하며, 
같은 location 블록 내에서 동시에 사용할 수 없습니다. 이 오류 메시지는 
root와 alias를 같은 location 블록에 지정하려고 했기 때문에 발생합니다.

server {
    listen 80;
    server_name ~^(?<subdomain>\w+)\.sites\.wd$;

    location / {
        set $subdir /dev/$subdomain/public_html;
        root $subdir;
        try_files $uri $uri/ =404;
    }
}

Docker 기반 환경 구성시 가장 불편한 점

제가 Docker 기반 환경을 구성하기 위해 수많은 삽질을 했습니다. 삽질 과정에서 가장 불편한 점이 위와 같은 구성 파일의 오류를 알수 없다는 것입니다. Docker용 linux 이미지의 경우 각종 서비스가 systemd를 기반으로 등작하지 않습니다. 결국 journalctl과 같은 기능을 사용할 수 없어 어떤 오류가 발생하여 서비스가 실행되지 않는지 알수 없게됩니다.
하는 수 없이 VirtualBox에 Ubuntu를 설치하고, 개발환경 전반을 테스트하고 Docker 이미지에 적용하는 과정을 거쳐야 했습니다.

시행착오 끝에 만든 Nginx 환경설정 파일

위 과정을 거쳐 Nginx 설정 파일을 아래와 같이 만들었습니다. 이 글을 쓰기 전에 최종 테스트도 통과를 했습니다.

server {
    listen 80 default_server;
    listen [::]:80 default_server;

    index index.php index.html index.htm index.nginx-debian.html;

    server_name localhost admin.sites.wd;

    root /var/www/html;

    location / {
        try_files $uri $uri/ /index.php?$query_string;
    }

    location ~ \.php$ {
        fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;
        fastcgi_pass unix:/run/php/php8.2-fpm.sock;
        include fastcgi.conf;
        fastcgi_hide_header X-Powered-By;
    }
}

server {
    listen 80;
    listen [::]:80;

    listen 443 ssl;
    listen [::]:443 ssl;

    ssl_certificate /etc/ssl/private/dev.crt;
    ssl_certificate_key /etc/ssl/private/dev.key;

    index index.php index.html index.htm index.nginx-debian.html;

    server_name ~^(?<host_name>[\w\-]+)\.(?<organization>[\w\-]+)\.wd$;

    set $site /DevHome/$organization/$host_name;
    root $site;

    location / {
        try_files $uri $uri/ /index.php?$query_string;
    }

    location ~ \.php$ {
        fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;
        fastcgi_pass unix:/run/php/php8.2-fpm.sock;
        include fastcgi.conf;
        fastcgi_hide_header X-Powered-By;
    }
}

DockerFile 군살빼기

기존에 구성했던 DockerFile은 레이어도 너무 많고, 불필요한 PHP 모듈도 많아 대폭 정리를 했습니다. DockerFile 내용은 아래와 같습니다. 그리고 저의 깃허브 레포지토리에도 해당 내용이 올라가 있습니다. 전체 파일이나 내용을 보시려면 레포지토리를 방문해서 확인해보세요.

FROM ubuntu:24.04
ENV DEBIAN_FRONTEND noninteractive
ENV TZ Asia/Seoul
ENV LC_ALL C.UTF-8

WORKDIR /DevHome

RUN mkdir -p /DevHome/sites/admin; ln -snf /usr/share/zoneinfo/$TZ /etc/localtime; echo $TZ > /etc/timezone

RUN apt-get update; \
    apt-get -y upgrade; \
    mkdir -p /etc/apt/keyrings; \
    apt-get install -y gnupg curl ca-certificates zip unzip git libpng-dev python3 dnsutils librsvg2-bin fswatch ffmpeg nano nginx mysql-client; \
    curl -sS 'https://keyserver.ubuntu.com/pks/lookup?op=get&search=0x14aa40ec0831756756d7f66c4f4ea0aae5267a6c' | gpg --dearmor | tee /etc/apt/keyrings/ppa_ondrej_php.gpg > /dev/null; \
    echo "deb [signed-by=/etc/apt/keyrings/ppa_ondrej_php.gpg] https://ppa.launchpadcontent.net/ondrej/php/ubuntu noble main" > /etc/apt/sources.list.d/ppa_ondrej_php.list; \
    apt-get update; \
    apt-get install -y php8.2-bcmath php8.2-cli php8.2-fpm php8.2-curl php8.2-dev php8.2-gd php8.2-intl php8.2-ldap php8.2-mbstring php8.2-mysql php8.2-opcache php8.2-readline \
    php8.2-soap php8.2-xml php8.2-xsl php8.2-zip php8.2-xdebug; \
    curl -sLS https://getcomposer.org/installer | php -- --install-dir=/usr/bin/ --filename=composer; \
    curl https://deb.nodesource.com/setup_lts.x | bash -; \
    apt-get update; \
    apt-get install -y nodejs; \
    npm install -g pnpm; \
    npm install -g bun; \
    curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | gpg --dearmor | tee /etc/apt/keyrings/yarn.gpg >/dev/null; \
    echo "deb [signed-by=/etc/apt/keyrings/yarn.gpg] https://dl.yarnpkg.com/debian/ stable main" > /etc/apt/sources.list.d/yarn.list; \
    apt-get update; \
    apt-get install -y yarn; \
    apt-get -y autoremove; \
    apt-get clean; \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

RUN sed -i 's/upload_max_filesize = 2M/upload_max_filesize = 200M/g' /etc/php/8.2/fpm/php.ini; \
    sed -i 's/memory_limit = 128M/memory_limit = 512M/g' /etc/php/8.2/fpm/php.ini; \
    sed -i 's/post_max_size = 8M/post_max_size = 250M/g' /etc/php/8.2/fpm/php.ini; \
    sed -i 's/short_open_tag = Off/short_open_tag = On/g' /etc/php/8.2/fpm/php.ini; \
    echo "xdebug.mode = develop,debug" >> /etc/php/8.2/mods-available/xdebug.ini; \
    echo "xdebug.client_host=host.docker.internal" >> /etc/php/8.2/mods-available/xdebug.ini; \
    echo "xdebug.client_port = 9000" >> /etc/php/8.2/mods-available/xdebug.ini

COPY index.php /var/www/html
COPY ssl_key/* /etc/ssl/private
COPY default /etc/nginx/sites-available
ADD myadmin /var/www/html/myadmin
COPY docker_entrypoint.sh /usr/bin/docker_entrypoint.sh

RUN chmod 0755 /usr/bin/docker_entrypoint.sh; \
    rm -r /var/lib/apt/lists /var/cache/apt/archives

VOLUME [ "/DevHome" ]

EXPOSE 80 443 5173 8080

ENTRYPOINT [ "docker_entrypoint.sh" ]

CMD ["tail","-f","/var/log/nginx/error.log"]

docker_entrypoint.sh

PHP fpm과 Nginx 기반으로 변경되다 보니 이 파일도 아래와 같이 변경했습니다.

#!/bin/bash

service php8.2-fpm start
service nginx start

exec "$@"

구성 후 느낀 점

개발환경을 구성하고 다시 테스트를 해봤는데, 응답속도는 기존과 동일한 것 같습니다. 속도의 문제는 Apache나 Nginx나 별로 차이가 없어 보입니다. 구글링을 해보니 WSL이 Windows의 파일 시스템에 접근할 때 속도가 느려진다는 이야기가 있습니다. 찾고 보니 Vite의 공식 문서에서도 언급이 되어 있네요.

Host bind volume과 docker volume의 차이

저의 개발환경에서 프로젝트 폴더는 Bind Volume으로 연결하고, 데이터베이스(Docker Volume)와 PHPMyAdmin과 관리용 PHP프로그램은 이미지 내부에 포함되어 있습니다. 지금에 와서 생각해보니 PHPMyAdmin은 응답속도가 그렇게 느리다는 생각을 못했습니다. 하지만 프로젝트 폴더의 웹사이트는 느려도 너무 느려 도저히 못 쓰겠다는 지경까지 왔습니다. 지금 생각해보면 이 두 방식의 차이로 생기는 속도차이로 보입니다. WSL 기반의 Docker 환경에서는 Bind Volume은 피하는 것이 좋겠습니다. 안된다면 WSL을 쓰지 않는 것도 고려를 해봐야 할 것 같습니다.

Vite Hot Reload가 동작하지 않는 문제

이 글을 쓰기 전에 막 Ubuntu를 노트북에 설치하고, 개발환경 구성을 마쳤습니다. 노트북의 개발환경에서는 Hot Reload 기능이 너무나 잘 동작합니다. 물론 속도도 빠르구요. 이건 운영체제의 문제나 Docker의 문제로 어렴풋이 생각은 하고 있었습니다만 구체적으로 검증을 하지 목한 터라 결론을 못내리고 있었습니다. 마지막으로 구글링을 해보니 WSL의 파일시스템 문제로 파일의 변경 감지가 않된다는 말도 있고, Vite 공식 문저에도 아래와 같은 내용이 있었네요. 이걸 알았으면 이번 삽질도 하지 않았을텐데 ㅠㅠ

Using Vite on Windows Subsystem for Linux (WSL) 2

When running Vite on WSL2, file system watching does not work when a file is edited by Windows applications (non-WSL2 process). This is due to a WSL2 limitation. This also applies to running on Docker with a WSL2 backend.

To fix it, you could either:

Recommended: Use WSL2 applications to edit your files.  
It is also recommended to move the project folder outside of a Windows filesystem. Accessing Windows filesystem from WSL2 is slow.  
Removing that overhead will improve performance.  
Set { usePolling: true }.  
Note that usePolling leads to high CPU utilization.

마치며

Docker 개발환경에서 WSL을 사용하지 않는것을 심각하게 고민하고 있습니다.

Laravel 용 패키지 만들기, 삽질기

jhansol — Sun, 2 Jun 2024 04:11:37 +0900

정말 오랜만에 포스팅을 하는것 같습니다. 이번 포스트는 제가 구상중인 사이트 프로젝트의 일부인 다국어 지원 서비스를 구축하기 위해 언어 검출 및 서비스의 인터페이스와 콘텐츠 언어 출력을 설정하는 역할을 하는 설치 가능한 패키지 개발과정에 관련된 것입니다.
이 포스트의 코드는 Github에 공개할 예정입니다.

지금까지 10여년을 PHP로 개발을 해왔지만 Composer를 이용한 설치용 패키지를 만들어보기는 처음입니다. 몇번에 걸쳐 시행착오도 격고, 구글링, Copilot, ChatGPT에 질문하고 해서 겨우 제가 원하는 단계까지 왔습니다. 이 과정의 기억을 박제하고자 합니다.

composeer.json 생성

우선 아래와 같이 laravel-language-detect 폴더를 만들고, 폴더로 이동하여 'composer init' 명령을 실행했습니다.

mkdir laravel-language-detect
cd laravel-language-detect
composer init

그러면 아래와 같이 패키지와 관련된 정보를 입력하는 프롬프트가 출력됩니다. 아래와 같이 입력했습니다.

Package name (<vendor>/<name>) [root/laravel-language-detect]: j-hansol/laravel-language-detect
Author [n to skip]: SungHyun Jang
Minimum Stability []: dev
Package Type (e.g. library, project, metapackage, composer-plugin) []: library
License []: MIT

Define your dependencies.

Would you like to define your dependencies (require) interactively [yes]? no
Would you like to define your dev dependencies (require-dev) interactively [yes]? no
Add PSR-4 autoload mapping? Maps namespace "JHansol\LaravelLanguageDetect" to the entered relative path. [src/, n to skip]:

{
    "name": "j-hansol/laravel-language-detect",
    "description": "This is a package for language detection and configuration for Laravel.",
    "type": "library",
    "license": "MIT",
    "autoload": {
        "psr-4": {
            "JHansol\\LaravelLanguageDetect\\": "src/"
        }
    },
    "authors": [
        {
            "name": "SungHyun Jang"
        }
    ],
    "minimum-stability": "dev",
    "require": {}
}

Do you confirm generation [yes]? yes

위와 같이 composer.json 파일에 몇가지를 더 추가하거나 수정했습니다.

테스터 케이스 네임스페이스 설정

지금은 사용하고 있지 않지만 다음에 테스트까지 고려하기 위해 미리 추가해두었습니다. 이 내용은 autoload 아래에 추가했습니다.

    "autoload-dev": {
        "psr-4": {
            "JHansol\\LaravelLanguageDetect\\Tests\\": "tests/"
        }
    },

authors 수정

authors 부분에 이름만 들어 있는데, 여기에 역할과, 이메일 주소를 추가했습니다.

    "authors": [
        {
            "role": "Developer",
            "name": "SungHyun Jang",
            "email": "p....2@gmail.com"
        }
    ],

Composer 관련 설정 추가

아래와 같이 컴포저가 패키지관리를 위한 설정을 추가했습니다.

    "minimum-stability": "dev",
    "prefer-stable": true,
    "config": {
        "sort-packages": true,
        "preferred-install": "dist",
        "optimize-autoloader": true,
        "allow-plugins": {
            "kylekatarnls/update-helper": true
        }
    },

required 항목 수정

이 내용은 생성과정에서 패키지를 검색하는 부분이 있으나 제가 아직 사용법을 잘 몰라 아래와 같이 수정했습니다. 이본적으로 이 패키지는 PHP 8.1과 라라벨 프레임워크인 laravel/framework 11.0... 버전에 의존하는 것을 추가해주었습니다.

    "require": {
        "php": "^8.2",
        "laravel/framework": "^11.0"
    },

라라벨용 패키지 정보 추가

라라벨은 최처 설치 후, 패키지 설치 후, Autoload 파일 갱신 후에 라라벨용 패키지를 검출하는 스크립트가 실행됩니다. 아래 내용은 이 때 필요한 것으로 서비스 프로바이더와 파사드 등의 클래스명을 등록해두면 서비스 실행 시에 자동으로 로드될 수 있도록 합니다.

    "extra": {
        "laravel": {
            "providers": [
                "JHansol\\LaravelLanguageDetect\\LanguageDetectServiceProvider"
            ]
        }
    }

패키지 코딩

```src``` 폴더에 언어를 검출하고 설정하는 클래스와 클래스를 컨테이너에 등록하는 서비스 프로바이더를 만들어 두었습니다.

LanguageDetect.php

이 코드는 추후 수정될 것입니다.

<?php

namespace JHansol\LaravelLanguageDetect;

use Illuminate\Foundation\Application;
use Illuminate\Http\Request;

class LanguageDetect {
    private Application $application;
    private Request $request;

    function __construct(Application $application) {
        $this->application = $application;
    }

    public function setRightLocale() : void  {
        $this->request = $this->application->make('request');

        $able_locales = config('language-detect.locales');
        $default_locale = config('language-detect.default_locale');
        $locale_segment = config('language-detect.locale_segment');

        $temp_locale = $this->request->segment($locale_segment);
        $target_locale = null;

        if($temp_locale && in_array($temp_locale, $able_locales)) $target_locale = $temp_locale;
        if(!$target_locale) $target_locale = $default_locale;

        $this->application->setLocale($target_locale);
    }
}

LanguageDetectServiceProvider.php

<?php
namespace JHansol\LaravelLanguageDetect;

use Illuminate\Contracts\Container\BindingResolutionException;
use Illuminate\Foundation\Application;
use Illuminate\Support\ServiceProvider;

class LanguageDetectServiceProvider extends ServiceProvider {
    public function register(): void {
        $this->app->singleton('language_detect', function(Application $application) {
            return new LanguageDetect($application);
        });

        $config = __DIR__.'/config/language_detect.php';
        $this->mergeConfigFrom(
            $config, 'language-detect'
        );
    }

    public function boot(): void {
        $config = __DIR__.'/config/language_detect.php';
        $this->publishes(
            [$config => config_path('language_detect.php')],
            ['language-detect', 'language-detect:config']
        );

        try {
            $language_detect = $this->app->make('language_detect');
            $language_detect->setRightLocale();
        } catch (BindingResolutionException $e) {}
    }
}

기타 환경과 관련 파일도 있으나 여기서는 생략하도록 하겠습니다. 이렇게 하여 필요한 구성이 완료되었습니다.
위 코드를 Github 저장소에 푸시했습니다.

삽질 부분에서 또 언급하겠지만 composer에 의해 패키지가 원할하게 관리되려면 버전을 표시하는 태그를 추가해야 합니다.

라라벨 프로젝트에 적용 삽질

패키지는 무리없이 만들었는데, 여기서 애를 먹었습니다. 패키지가 설치되기는 했어나 라라벨 패키지로 인식하는 부분에서 많은 시행착오가 있었습니다. 여기서는 그 과정을 모두 적을 수는 없고, 주된 원인만 적고 넘어가겠습니다.

Custom 패키지 저장소 설정 삽질

공식 패키지 저장소에 등록된 것이 아니라면 반드시 'repositories' 항목에 해당 정보가 지정되어야 합니다. 저장소 등록을 구글링하여 아래와 같이 등록을 했었습니다.

    "repositories": [
        {
            "type":"package",
            "package": {
                "name": "j-hansol/laravel-language-detect",
                "version":"1.0.0",
                "source": {
                    "url": "https://github.com/j-hansol/language-detect.git",
                    "type": "git",
                    "reference":"main"
                }
            }
        }
    ],

위와 같이 하고 아래와 같이 composer를 이용하여 설치를 했습니다. 성공은 했습니다.

composer require j-hansol/laravel-language-detect

하지만 라라벨 패키지로 인식이 않었습니다. 결국 라라벨의 php artisan package:discover --ansi 콘솔 커멘드를 디버깅을 통해 저의 패키지에 어떤 문제가 있는지 체크를 해봤습니다. 이 명령은 아래 코드에 의해 실행됩니다.

<?php

namespace Illuminate\Foundation\Console;

use Illuminate\Console\Command;
use Illuminate\Foundation\PackageManifest;
use Symfony\Component\Console\Attribute\AsCommand;

#[AsCommand(name: 'package:discover')]
class PackageDiscoverCommand extends Command
{
    /**
     * The console command signature.
     *
     * @var string
     */
    protected $signature = 'package:discover';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Rebuild the cached package manifest';

    /**
     * Execute the console command.
     *
     * @param  \Illuminate\Foundation\PackageManifest  $manifest
     * @return void
     */
    public function handle(PackageManifest $manifest)
    {
        $this->components->info('Discovering packages');

        $manifest->build();

        collect($manifest->manifest)
            ->keys()
            ->each(fn ($description) => $this->components->task($description))
            ->whenNotEmpty(fn () => $this->newLine());
    }
}

그 중에서도 패키지를 검출하는 것은 이 코드입니다.

$manifest->build();

메소드는

    public function build()
    {
        $packages = [];

        if ($this->files->exists($path = $this->vendorPath.'/composer/installed.json')) {
            $installed = json_decode($this->files->get($path), true);

            $packages = $installed['packages'] ?? $installed;
        }

        $ignoreAll = in_array('*', $ignore = $this->packagesToIgnore());

        $this->write(collect($packages)->mapWithKeys(function ($package) {
            return [$this->format($package['name']) => $package['extra']['laravel'] ?? []];
        })->each(function ($configuration) use (&$ignore) {
            $ignore = array_merge($ignore, $configuration['dont-discover'] ?? []);
        })->reject(function ($configuration, $package) use ($ignore, $ignoreAll) {
            return $ignoreAll || in_array($package, $ignore);
        })->filter()->all());
    }

외 코드에서 write() 메소드 안의 코드가 패키지를 검출(필터링)하는 코드인데, 저의 패키지가 이 과정에서 재외되는 것을 확인했습니다. 그리고 패키지 설치와 관련된 정보를 composer/installed.json' 파일의 내용을 바탕으로 하는 것을 알고, 해당 파일을 열어보니 라라벨 패키지와 관련된 내용은 없고, reposotories 항목에 기록된 내용이 저장되어 있었습니다. 전혀 엉뚱한 내용이 저장되어 있으니 인식이 안된 것이었습니다.

        {
            "name": "j-hansol/laravel-language-detect",
            "version": "1.0.0",
            "version_normalized": "1.0.0.0",
            "source": {
                "type": "git",
                "url": "https://github.com/j-hansol/language-detect.git",
                "reference": "main"
            },
            "type": "library",
            "installation-source": "source",
            "install-path": "../j-hansol/laravel-language-detect"
        },

삽질 끝에 패키지 저장소 수정

결국 저장소정보 설정이 잘 못되었다는 것인데, 구글링, Copilot, ChatGPT에게 질문했습니다. 앞에 것들은 전혀 도움이 안되었고, 마지막 ChatGPT가 매우 큰 도움이 되었습니다. ChatGPT의 조력에 따라

    "repositories": [
        {
            "url": "https://github.com/j-hansol/language-detect.git",
            "type": "vcs",
            "reference":"main"
        }
    ],

패키지 저장소 버전 태그 추가

패키기 저장소에 버전을 나타내는 태그가 없으면 위와 같이 수정한 수 설치를 시도하면 아래와 같은 오류가 출력됩니다.

Could not find a version of package j-hansol/laravel-language-detect matching your minimum-stability (stable). Require it with an explicit version constraint allowing its desired stability.

그래서 아래와 같이 태그를 추가해서 푸시했습니다.

git tag 1.0.0
git push origin 1.0.0

설치 성공, 패키지 인식

드디어 아래의 명령으로 설치되고, 패키지도 정상적으로 인식되었습니다.

composer require j-hansol/laravel-language-detect

..... 이전 생략 .....

> @php artisan package:discover --ansi

   INFO  Discovering packages.  

  j-hansol/laravel-language-detect ......................................................................................... DONE
  laravel/breeze ........................................................................................................... DONE
  laravel/sail ............................................................................................................. DONE
  laravel/tinker ........................................................................................................... DONE
  livewire/livewire ........................................................................................................ DONE
  livewire/volt ............................................................................................................ DONE
  nesbot/carbon ............................................................................................................ DONE
  nunomaduro/collision ..................................................................................................... DONE
  nunomaduro/termwind ...................................................................................................... DONE
  spatie/laravel-ignition .................................................................................................. DONE

패키지와 관련된 파일을 퍼블리싱하는 명령에서 시비스 프로바이더가 검색됩니다.

php artisan vendor:publish

 ┌ Which provider or tag's files would you like to publish? ────────┐
 │ jH                                                                        │
 ├────────────────────────────────────┤
 │   Provider: JHansol\LaravelLanguageDetect\LanguageDetectServiceProvider   │
  ─────────────────────────────────────┘

태그도 잘 검색됩니다.

php artisan vendor:publish

┌ Which provider or tag's files would you like to publish? ────────┐  
│ language │  
├ ────────────────────────────────────┤  
│ Provider: JHansol\\LaravelLanguageDetect\\LanguageDetectServiceProvider │  
│ Tag: language-detect │  
│ Tag: language-detect:config │  
└───────────────── ───────────────────┘

삽질의 연속

jhansol — Sat, 20 Apr 2024 16:11:13 +0900

안녕하세요. 오늘도 유지보수관련하여 글을 남길까 합니다.
몇일 전 고객사로부터 콘텐츠는 존재하는데 검색이 않된다고 확인을 요청하는 메일이 대표님을 통해 들어왔습니다. 저도 약간의 문제가 있다는 것은 알고 있었으나 여건상 해결상 시간을 투자할 수 없었습니다.

기본 사양

유지보수 중인 사이트는 PHP 5.6 기반에 Drupal 7을 이용하여 개발된 것입니다. 그리고 이 사이트는 약 120여개의 기여모듈과, 자체 제작 모듈 약 20여개로 구성되어 있습니다. 이 문제와 연관된 모듈은 Entity Translation, Search Api, Search Api Entity Translation 등 3개 입니다.

문제의 현상

관리자가 특정 언어로 컨텐츠를 등록하면 색인 대상 정보에 해당 콘텐츠 정보가 추가되지만 콘텐츠의 언어를 변경하거나 다른 언어로 번역할 경우 검색엔진에 색인을 요청하지만 색인 대상 정보에 반영되지 않는 현상이 발생합니다. 이로 인해 기존 색인을 삭제하고 콘텐츠 전체를 다시 색인하는 경우 잘 못된 정보로 색인을 하거나 누락되는 경우가 발생했습니다.
그리고 콘텐츠가 삭제되면 색인 대상 정보에서 해당 콘텐츠 정보가 삭제되어야 하는데 삭제되지 않고 남아 있는 경우가 있었습니다.
위 두 문제로 정상적으로 색인이 되지 않아 콘텐츠 검색이 않되는 경우가 발생합니다.

Drupal Hook

Drupal은 Hook 함수를 이용하여 동작한다고 해도 과언이 아닙니다. 검색을 위한 색인 역시 Hook 함수를 통해 실행됩니다.

/**
 * Implements hook_entity_translation_insert().
 */
function search_api_et_entity_translation_insert($entity_type, $entity, $translation, $values = array()) {
  list($entity_id) = entity_extract_ids($entity_type, $entity);
  $item_id = SearchApiEtHelper::buildItemId($entity_id, $translation['language']);

  search_api_track_item_insert(SearchApiEtHelper::getItemType($entity_type), array($item_id));
}

/**
 * Implements hook_entity_translation_update().
 */
function search_api_et_entity_translation_update($entity_type, $entity, $translation, $values = array()) {
  list($entity_id) = entity_extract_ids($entity_type, $entity);
  $item_id = SearchApiEtHelper::buildItemId($entity_id, $translation['language']);
  search_api_track_item_change(SearchApiEtHelper::getItemType($entity_type), array($item_id));
}

/**
 * Implements hook_entity_translation_delete().
 */
function search_api_et_entity_translation_delete($entity_type, $entity, $langcode) {
  list($entity_id) = entity_extract_ids($entity_type, $entity);
  $item_id = SearchApiEtHelper::buildItemId($entity_id, $langcode);
  search_api_track_item_delete(SearchApiEtHelper::getItemType($entity_type), array($item_id));
}

위 3개의 함수는 콘텐츠가 추가, 수정, 삭제 시 호출되는 Hook 함수입니다. 문제의 현상이 발생하지 않으려면 위 3개의 함수가 호출되어 색인 대상 정보에 해당 콘텐츠 정보가 반영이되어야 하지만 반영되지 않는 경우가 다수 발생합니다.

해결을 위한 고민

기본 사양에서 언급한 3개의 모듈은 크고 복잡한 모듈입니다. 시간이 허락할 때마다 조금씩 코드를 살펴보고, 디버깅도 하고 코드를 분석해보고는 있지만 분석해야 하는 코드의 양도 만만치 않고, 각종 Hook 함수에 의해 얽혀 있는 탓에 완전 해결이 매우 힘듭니다. 모듈 개발자분의 생각을 이해한다면 문제의 원인을 원천 파악하고 수정하겠지만 현재로서는 부분적인 수정으로 땜질식 처방만 할 수 있습니다.

부분적 수정의 두려움

현재 Drupal 7의 코어를 비롯하여 모듈의 공식 유지보수 기간이 지난 관계로 더 이상의 오류 패치는 기대할 수 없어 어쩔 수 없이 수정은 하고 있지만 이 수정으로 사이트 전체 데이터의 무결성 훼손이나 성능에 문제를 이르키지는 않을까 하는 두려움을 가지고 있습니다. 그래서 이번 문제는 기존 모듈을 그대로 두고 자체 재작한 모듈에 기능을 추가하여 해결하기로 했습니다.

문제의 현상 해결 방법

문제를 해결하기 위해 아래와 같은 작업을 수행하는 콘솔 명령을 작했습니다.

검색 대상 정보에서 삭제된 콘텐츠 정보를 제거하고 검색엔진에 해당 콘텐츠를 삭제하도록 요청한다.
색인 대상 콘텐츠의 원본과 번역본을 수집하고 검색 대상 정보의 내용과 비교하여 삭제해야 하는 색인, 새롭게 색인해야 하는 콘텐츠를 구분하여 색인 삭제, 색인 대상 정보에서 항목 삭제, 새롭게 색인해야 하는 항목을 추가한다.

아래 코드는 위 작업을 수행하는 코드입니다.

function xxxxx_util_get_sapi_refresh() {
  $page_per_item = 100;
  $page = 0;
  $delete_target_count = 0;
  $add_target_count = 0;
  $no_exists_content_count = 0;
  $sapi_base_url = _get_sapi_server_base_path();
  $proc_count = 0;

  print "검색엔진 URL : {$sapi_base_url}\n";

  do{
    $result = db_select('search_api_et_item', 't')
      ->fields('t')
      ->orderBy('item_id', 'asc')
      ->condition('index_id', 6)
      ->range($page * $page_per_item, $page_per_item)
      ->execute()->fetchAllAssoc('item_id');
    $item_count = count($result);
    foreach ($result as $item) {
      list($id, $language) = explode('/', $item->item_id);
      if(!_is_exists_node($id)) {
        $no_exists_content_count++;
        _delete_sapi_document($sapi_base_url, array($item->item_id));
        _delete_sapi_et_item(array($item->item_id));
      }
      $proc_count++;
      print "콘텐츠 점검 : {$proc_count}\r";
    }
    $page++;
  } while ($item_count == $page_per_item);
  print PHP_EOL;

  $page = 0;
  $proc_count = 0;
  do{
    $result = db_select('node', 't')
      ->fields('t')
      ->orderBy('nid', 'asc')
      ->condition('type', 'resources')
      ->range($page * $page_per_item, $page_per_item)
      ->execute()->fetchAllAssoc('nid');
    $item_count = count($result);
    $nids = _get_nids($result);
    $nodes = node_load_multiple($nids);
    foreach($nodes as $node) {
      if(isset($node->translations->data)) {
        $languages = array_keys($node->translations->data);
        $target_item_ids = _get_item_ids($node, $languages);
        $current_item_ids = _get_sapi_et_items($node->nid);
        $delete_targets = array_diff($current_item_ids, $target_item_ids);
        $add_targets = array_diff($target_item_ids, $current_item_ids);
        if(!empty($delete_targets)) {
          $solr_result = _delete_sapi_document($sapi_base_url, $delete_targets);
          _delete_sapi_et_item($delete_targets);;
          $delete_target_count += count($delete_targets);
        }
        if(!empty($add_targets)) {
          _add_sapi_et_item($add_targets);
          $add_target_count += count($add_targets);
        }
      }
      $proc_count++;
      print "색인 대상 자료 새로 고침 : {$proc_count}\r";
    }
    $page++;
  } while ($item_count == $page_per_item);

  print "\n존재하지 않는 콘텐츠 : {$no_exists_content_count}";
  print "\n삭제 대상 항목 : {$delete_target_count},  추가대상 항목 : {$add_target_count}\n";
}

function _get_nids($nodes) {
  return array_map(function($node) {
    return $node->nid;
  }, $nodes);
}

function _get_item_ids($node, $languages) {
  $target_item_id = array();
  foreach($languages as $language) $target_item_id[] = $node->nid . '/' . $language;
  return $target_item_id;
}

function _get_sapi_et_items($nid) {
  $result = db_select('search_api_et_item', 't')
    ->fields('t')
    ->condition('index_id', 6)
    ->condition('item_id', "${nid}/%", 'like')
    ->execute()->fetchAllAssoc('item_id');
  return array_map(function($item) {
    return $item->item_id;
  }, $result);
}

function _get_sapi_server_base_path() {
  $server = db_select('search_api_server', 't')
    ->fields('t')
    ->condition('machine_name', 'inner_solr')
    ->execute()->fetchAssoc();
  if($server) {
    $options = unserialize($server['options']);
    $schema = $options['scheme'];
    $host = $options['host'];
    $port = $options['port'];
    $path = $options['path'];
    return "{$schema}://{$host}:{$port}{$path}";
  }
  else return null;
}

function _add_sapi_et_item($item_ids) {
  $fields = array('item_id', 'index_id', 'changed');
    $now = time();

  $query = db_insert('search_api_et_item')
    ->fields($fields);
  foreach ($item_ids as $id) $query->values(array('item_id' => $id, 'index_id' => 6, 'changed' => $now));
  $query->execute();
}

function _delete_sapi_et_item($item_ids) {
  db_delete('search_api_et_item')
    ->condition('index_id', 6)
    ->condition('item_id', $item_ids, 'in')
    ->execute();
}

function _delete_sapi_document($base_url, $item_ids, $display_response = false) {
  $id_string = '';
  foreach($item_ids as $id) {
    $id_string .= "<query>item_id:{$id}</query>";
  }

  $options = array(
    'method' => 'POST',
    'data' => "<add commitWithin=\"1000\" overwrite=\"true\"><delete>{$id_string}</delete></add>",
    'headers' => array(
      'Content-Type' => 'text/xml'
    )
  );
  $response = drupal_http_request("{$base_url}/update?wt=json", $options);
  return $response->code == 200;
}

function _is_exists_node($id) {
  $result = db_select('node', 't')
    ->fields('t')
    ->condition('nid', $id)
    ->execute()->fetchAllAssoc('nid');
  return count($result) > 0;
}

위 코드를 기존 모듈에 추가하고 해당 모듈의 Drush 콘솔 명령어 정보 부분에 아래의 코드를 추가합니다.

  $items['sapi_refresh'] = array(
    'description' => t('검색 색인 자료 정보를 새로고침한다.'),
    'callback' => 'xxxx_util_get_sapi_refresh',
    'aliases' => array('sr')
  );

이재 콘솔 명령을 실행하기 위해 아래와 같이 콘솔명령 관련 캐시를 지워줍니다.

drush cc drush

그리고 아래 명령으로 콘솔 명령을 실행해주면 콘텐츠 색인 대상 정보를 새로고침합니다.

drush sapi-refresh
# 또는 
drush sr

주기적으로 실행하도록 스크립트에 추가

이 사이트는 이미 몇개의 Cron Job이 실행중입니다. 그 중에서도 1시간 주기로 일괄색인을 진행하는 스크립트가 있습니다. 이 스크립트에 위 명령을 추가했습니다.

#!/bin/sh

path=`dirname $0`

cd $path
echo "Cron started...."
/usr/local/bin/drush sr
/usr/local/bin/drush sapi-i
echo "Done...

위 스크립트를 실행하는 Cron 설정은 아래와 같이 crontab에 지정해두었습니다.

0 * * * * /home/gced/xxxx/docroot/run_index.sh > /home/xxxx/xxxx/docroot/search_index.log

마치며

약 4일동안 주말도 반납해가며 고민하고, 코드를 작성해서 몇 번의 테스트를 거쳐 운영서버에 적용을 했습니다. 재발 더 이상 이 문제로 메일이나 전화가 않오기를 기대해봅니다.

서버는 죽었다 살았다, 나는 현세와 지옥을 오간다.

jhansol — Mon, 15 Apr 2024 00:25:44 +0900

제가 관리(? 회사가) 유지보수 중인 서버가 있습니다. 제목에서도 알 수 있듯이 이 서버의 사이트가 불안정하여 사이트가 죽었다 살았다를 반복하고, 식은땀을 흘리게 만들었습니다. 최근에는 서버가 안정되어 한숨을 돌리고 있습니다만 또 언재 문제가 터질지 걱정되기도 합니다. 이 글에서는 이 과정에 관련된 기록을 남기기 위함입니다.

서버 사양

웹사이트 운영 버

서버 유형 : VPS
VPS 제공 : Vultr
VCPU 수 : 6
메모리 : 16GB
저장메체 용량 : 320GB SSD
운영체제 : Ubuntu 18.04.1 LTS
기반 소프트웨어 : pache 2.4.29, PHP 5.6.38, MariaDB 10.1.34-

검색엔진 서버

서버 유형 : VPS
VPS 제공 : Vultr
VCPU 수 : 1
메모리 : 2B
저장메체 용량 : 40 SSD
운영체제 : Ubuntu 18.04.1 LTS
기반 소프트웨어 : Apache Solr 5.5.5

Apache Solr 장애

Apache Solr 다운으로 사이트 검색 기능 다운

아래의 사진은 최근 사진입니다. 하지만 장애가 났던 당시에는 아래와 같은 사진의 내용을 표시할 수 없었습니다. Apache Solr 서비스 데몬이 죽었고, 재실항할 수 없었기 때문입니다.

데몬이 재실행되지 않은 이유는 메모리 부족이 가장 큰 문제였습니다. 메모리가 부족하여 색인 데이터를 모두 로드하지 못했기 때문입니다. 현재는 2GB의 메모리를 가지고 있지만 이 당시 1GB 메모리로 되어 있었습니다. 하지만 메모리를 업그레이드한 이후에도 데몬이 죽는 등 문제가 지속적으로 발생했습니다.

조치 사항

jVM 메모리 제한 업그레이드

장애 발생 당시에는 JVM 최대 힙 사이즈가 256MB 였습니다. 메모리 업그레이드 후 최대 힙 사이즈를 아래와 같이 1GB로 설정하여 실행하도록 했습니다.

# /opt/solr/bin/solr restart -m 1024m -Djava.library.path=/usr/local/lib

주기적인 색인 데이터 최적화

위와 같이 메모리를 널려줘도 다운되는 현상이 생겼습니다. 이문제를 해결하기 위해 색인 데이터를 최적화하여 크기를 줄여줘야 했습니다. 최적화의 가장 간단한 방법은 Apache Solr의 관리용 데시보드의 "Optimize now" 버튼을 클릭하여 실행할 수 있습니다. 이 기능을 주기적으로 실행할 필요가 있어, 임시방편으로 아래와 같이 하루에 두 번 주기적으로 최적화하도록 Crontab에 설정을 해두었습니다.

0 0,12 * * * /usr/bin/curl http://localhost:8983/solr/drupal/update?optimize=true

더 나은 방법

더 나은 방법으로는 자동으로 최적화되도록 하는 것인데, 현재 운영중인 서버에도 기본 설정은 되어 있습니다. 하지만 이 설정이 현재 서버 사양과 맞는지 여부는 검토해볼 필요가 있습니다. 현재로서는 여기에 시간 투자를 할 여유가 없어 기록만 남겨 둡니다. 아래 내용은 'solrconfig.xml' 파일의 일부입니다.

  <indexConfig>
    <!-- maxFieldLength was removed in 4.0. To get similar behavior, include a
         LimitTokenCountFilterFactory in your fieldType definition. E.g.
     <filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="10000"/>
    -->
    <!-- <writeLockTimeout>1000</writeLockTimeout>  -->
    <!-- <maxIndexingThreads>8</maxIndexingThreads>  -->
    <!-- <useCompoundFile>false</useCompoundFile> -->
    <ramBufferSizeMB>32</ramBufferSizeMB>
    <!-- <maxBufferedDocs>1000</maxBufferedDocs> -->
    <mergePolicy class="org.apache.lucene.index.LogByteSizeMergePolicy"/>
    <!--
       <mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler"/>
       -->
    <mergeFactor>4</mergeFactor>
    <lockType>${solr.lock.type:native}</lockType>
    <!-- <termIndexInterval>256</termIndexInterval> -->
    <unlockOnStartup>false</unlockOnStartup>
    <reopenReaders>true</reopenReaders>
    <deletionPolicy class="solr.SolrDeletionPolicy">
      <str name="maxCommitsToKeep">1</str>
      <str name="maxOptimizedCommitsToKeep">0</str>
      <!--
         <str name="maxCommitAge">30MINUTES</str>
         <str name="maxCommitAge">1DAY</str>
      -->
    </deletionPolicy>
    <infoStream>true</infoStream>
  </indexConfig>

사이트 운영 서버 장애

급격히 상승하는 서버 부하

아래 그림과 같이 순식간에 서버 부하가 상승하고 메모리 사용도 급격하게 늘어 사용 가능 메모리 공간이 없어 서버가 매우 느려지거나 응답하지 않는 상태가 자주 발생합니다. 심한 경우 mariaDB 서비스 데몬이 다운되고, 데이터 손상으로 실행이 아에 되지 않는 사태도 발생했습니다.

AmariaDB 서버

아래의 내용은 DB 서버 데몬이 죽었을 때의 로그입니다. 로그를 보면 메모리가 부족하고 요구 용량이 표시되고 있고, 현제 Buffer Pool Size의 크기가 표시되어 있습니다. 그리고 마지막에는 이로 인해 InnoDB 엔진을 초기화 할수 없어 재시작도 못하고 다운된 것을 확인했습니다.

2024-03-04  1:49:02 140636705234048 [ERROR] mysqld: Out of memory (Needed 128663552 bytes)
2024-03-04  1:49:02 140636705234048 [ERROR] mysqld: Out of memory (Needed 96485376 bytes)

......

InnoDB: mmap(140574720 bytes) failed; errno 12
2024-03-14 23:41:28 140476940496000 [ERROR] InnoDB: Cannot allocate memory for the buffer pool
2024-03-14 23:41:28 140476940496000 [ERROR] Plugin 'InnoDB' init function returned error.
2024-03-14 23:41:28 140476940496000 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
2024-03-14 23:41:28 140476940496000 [Note] Plugin 'FEEDBACK' is disabled.
2024-03-14 23:41:28 140476940496000 [ERROR] Unknown/unsupported storage engine: InnoDB
2024-03-14 23:41:28 140476940496000 [ERROR] Aborting

장애 원인 추정

해킹 시도

Apache Access Log를 확인해보니 아래와 같은 로그가 다수 보입니다. 로그에서 아래와 같이 /ru/events/2023-01-16?language=en, calendar-node-field-event-date/month/2021-03 등이 보입니다. 이들 경로는 사이트에서 재공하지 않는 경로입니다. 아래의 경로로 직접 접속해보니 응답속도도 느리고, 마지막에는 오류가 출력됩니다. DB의 Slow Query 로그를 확인해보니 이때 Slow Query가 발생합니다. 사이트의 취약점을 활용한 해킹시도로 보입니다.

85.208.96.197 - - [24/Nov/2023:17:51:14 +0900] "GET /ru/events/2023-01-16?language=en HTTP/1.1" 200 14033 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"

...

114.119.135.182 - - [24/Nov/2023:19:47:05 +0900] "GET /calendar-node-field-event-date/day/2021-03-06?field_events_title_value&page=52&language=en HTTP/1.1" 200 13886 "https://g.........org/calendar-node-field-event-date/month/2021-03?field_events_title_value&page=52&language=en" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"

사이트에서 발생한 Slow Query

아래의 이미지는 장애가 발생했을 때 확인한 Slow Query 내용입니다. 아래의 쿼리는 제가 개발한 모듈에서 발생한 것이 아니라 Drupal의 공식 사이트에서 설치한 기여 모듈입니다. 저의 짧은 생각에는 이런 모듈들이 대량의 데이터를 예상하지 않고 만들어진 것이 아닌가 합니다.

작은 용량의 Buffer Pool Size

최초 Buffer Pool Size는 128MB로 8개의 인스턴스가 나누어 사용하는 것으로 되어 있습니다.

2024-03-04  1:49:02 140636705234048 [Note] InnoDB: Initializing buffer pool, size = 128.0M
InnoDB: mmap(140574720 bytes) failed; errno 12

+-------------------------------------+----------------+
| Variable_name                       | Value          |
+-------------------------------------+----------------+
| innodb_buffer_pool_dump_at_shutdown | OFF            |
| innodb_buffer_pool_dump_now         | OFF            |
| innodb_buffer_pool_dump_pct         | 100            |
| innodb_buffer_pool_filename         | ib_buffer_pool |
| innodb_buffer_pool_instances        | 8              |
| innodb_buffer_pool_load_abort       | OFF            |
| innodb_buffer_pool_load_at_startup  | OFF            |
| innodb_buffer_pool_load_now         | OFF            |
| innodb_buffer_pool_populate         | OFF            |
| innodb_buffer_pool_size             | 131072         |
+-------------------------------------+----------------+

조치 사항

InnoDB 손성 복구

MariaDB는 /etc/mysql/mariadb.conf.d/50-server.cnf 파일 내용 중에 아래와 주석을 제거하고 저장한 후 서비스를 복구모드로 실행하도록 했습니다.

[mariadb]
# innodb_force_recovery = 1
innodb_force_recovery = 1

# service mysql restart

해킹 시도 조치사항

일단 사용하지 않는 모듈을 전수 검사하여 비활성화 했습니다. 그리고 아래 내용과 같이 사이트 DocumentRoot 폴드에 .htaccess 파일에 사이트 경로를 rewrite하는 코드 위에 rewrite 조건을 지정해두었습니다.

  # 해킹으로 의심되는 요청 차단
  RewriteCond %{REQUEST_URI} /events/\d{4}-\d{2}-\d{2}$
  RewriteRule ^ 400.html [L]

아래 내용과 같이 해킹 시도로 의심되는 IP를 C클래스의 크기 단위로 차단하도록 ufw를 이용하여 설정해두었습니다.

To                         Action      From
--                         ------      ----
80/tcp                     ALLOW       Anywhere
443/tcp                    ALLOW       Anywhere
Anywhere                   DENY        106.11.167.0/24
Anywhere                   DENY        106.11.229.0/24
Anywhere                   DENY        106.11.230.0/24
Anywhere                   DENY        106.11.228.0/24
Anywhere                   DENY        106.11.231.0/24
50022                      ALLOW       .......
Anywhere                   DENY        114.234.157.0/24
Anywhere                   DENY        119.39.100.0/24
Anywhere                   DENY        119.39.102.0/24
Anywhere                   DENY        119.39.16.0/24
Anywhere                   DENY        119.39.17.0/24
Anywhere                   DENY        122.247.154.0/24
Anywhere                   DENY        122.247.157.0/24
Anywhere                   DENY        125.115.105.0/24
Anywhere                   DENY        125.115.189.0/24
Anywhere                   DENY        125.115.191.0/24
Anywhere                   DENY        180.115.187.0/24
Anywhere                   DENY        180.115.190.0/24
Anywhere                   DENY        180.116.178.0/24
Anywhere                   DENY        180.116.181.0/24
Anywhere                   DENY        180.116.182.0/24
Anywhere                   DENY        183.27.48.0/24
Anywhere                   DENY        183.27.49.0/24
Anywhere                   DENY        183.27.50.0/24
Anywhere                   DENY        183.27.51.0/24
Anywhere                   DENY        218.68.102.0/24
Anywhere                   DENY        218.68.105.0/24
Anywhere                   DENY        218.68.107.0/24
Anywhere                   DENY        218.68.108.0/24
Anywhere                   DENY        221.197.56.0/24
Anywhere                   DENY        221.197.66.0/24
Anywhere                   DENY        49.81.173.0/24
Anywhere                   DENY        60.24.14.0/24
Anywhere                   DENY        117.45.252.0/24
Anywhere                   DENY        117.45.253.0/24
....                       ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   ALLOW       .......
..../tcp                   DENY        Anywhere
80/tcp (v6)                ALLOW       Anywhere (v6)
root@apceiu:~#
..../tcp  (v6)             DENY        Anywhere (v6)

Slow Query 예방을 위한 조치

사실 이 부분은 다른 기여 모듈에서 발생하는 것이라 수정하기에는 어려움이 많습니다. 사실 어느 모듈에서 이런 ㅋ쿼리를 넘기는지 알수가 없습니다. 사용하지 않는 모듈을 찾아 비활성화하는 것으로 마무리했습니다.

Buffer Pool Size 조정

사이트를 서비스하고 있는 사이트의 서버는 16GB의 메모리를 보유하고 있습니다. 이 장애가 발생하고 나서 인터넷을 검색해보니 물리적인 메모리의 70%~80%로 설정할 것을 권장하고 있습니다. 하지만 DBMS만 실행되고 있는 것이 아니라 적용하기에는 어려워 점진적으로 조정해왔습니다. 현재는 4GB로 설정되어 있습니다. 아래의 내용을 /etc/mysql/mariadb.conf.d/50-server.cnf 추가한 후 서비스를 다시 실행했습니다.

[mysqld]
innodb_buffer_pool_size = 4G

이렇게 조치한 후 InnoDB 엔진의 상태를 아래의 명령으로 확인해봤습니다. 확인 결과 8개의 인스턴스가 동일하게 512MG 씩 나우어 사용하고 있었습니다.

show engine innodb status\G;

---BUFFER POOL 0
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30413
Old database pages      11206
Modified db pages       7

---BUFFER POOL 1
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30427
Old database pages      11211
Modified db pages       2

---BUFFER POOL 2
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30414
Old database pages      11207
Modified db pages       0

---BUFFER POOL 2
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30414
Old database pages      11207
Modified db pages       0

---BUFFER POOL 3
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30414
Old database pages      11207
Modified db pages       2

---BUFFER POOL 4
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30420
Old database pages      11209
Modified db pages       2

---BUFFER POOL 5
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30418
Old database pages      11208
Modified db pages       0

---BUFFER POOL 6
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30401
Old database pages      11202
Modified db pages       3

---BUFFER POOL 7
Buffer pool size        32767
Buffer pool size, bytes 536854528
Free buffers            1024
Database pages          30413
Old database pages      11206
Modified db pages       1

아래의 명령으로 버퍼의 상태 등을 보다 간략하게 확인할 수도 있습니다. 여기서 관심있게 본 부분은 Innodb_buffer_pool_wait_free 부분인데, 2GB로 지정했을 때는 이 값이 126 정도였습니다. 아래 명령은 이 글을 작성하고 있는 시점에서 실행한 것인데, 4GB로 저종한 이후 46번 정도의 락으로 인한 대기가 있었다는 것으로 현상태로 충분하겠다 싶어 더 이상 Buffer Pool Size를 조정하지 않고 있습니다.

MariaDB [(none)]> show status like '%innodb_buffer_pool%';
+-----------------------------------------+----------------------------------------+
| Variable_name                           | Value                                  |
+-----------------------------------------+----------------------------------------+
| Innodb_buffer_pool_bytes_data           | 3985571840                             |
| Innodb_buffer_pool_bytes_dirty          | 6750208                                |
| Innodb_buffer_pool_dump_status          | Dumping buffer pool(s) not yet started |
| Innodb_buffer_pool_load_status          | Loading buffer pool(s) not yet started |
| Innodb_buffer_pool_pages_data           | 243260                                 |
| Innodb_buffer_pool_pages_dirty          | 412                                    |
| Innodb_buffer_pool_pages_flushed        | 87821456                               |
| Innodb_buffer_pool_pages_free           | 8192                                   |
| Innodb_buffer_pool_pages_lru_flushed    | 0                                      |
| Innodb_buffer_pool_pages_made_not_young | 491905155                              |
| Innodb_buffer_pool_pages_made_young     | 1605166                                |
| Innodb_buffer_pool_pages_misc           | 10684                                  |
| Innodb_buffer_pool_pages_old            | 89633                                  |
| Innodb_buffer_pool_pages_total          | 262136                                 |
| Innodb_buffer_pool_read_ahead           | 8956261                                |
| Innodb_buffer_pool_read_ahead_evicted   | 0                                      |
| Innodb_buffer_pool_read_ahead_rnd       | 0                                      |
| Innodb_buffer_pool_read_requests        | 500759227970                           |
| Innodb_buffer_pool_reads                | 1546483                                |
| Innodb_buffer_pool_wait_free            | 46                                     |
| Innodb_buffer_pool_write_requests       | 848190430                              |
+-----------------------------------------+----------------------------------------+

DB Table 최적화

최적화에 대한 이야기는 장애가 발생하기 전에 익히 들어왔던 것이었으나, 최적화 과정에 문제가 발생할 가능성을 우려해 손도 못되고 있다가 쟁애가 발생한 시점에 고객사쪽에도 미리 이야기를 해서 밤 12시에 약 2시간을 작업 시간으로 설정하고 최적화를 작업을 진행을 했습니다.

작업을 진행하기 전에 .htaccess 파일에 아래의 내용을 추가하여 사이트 각종 서비스에 접근할 수 없도록 한 후 작업을 했습니다. 이렇게 한 이유는 예전에 서비스 중인 데이터 필드와 자료를 통패합할 때가 있었는데, 작업을 다 하고 검토를 하는데, 통패합 전 데이터로 입력된 것이 다수 있어서 "내가 작업을 잘 못했나?"하는 생각에 엄청 당황했었습니다. 나중에 알고보니 서비스 자체의 점검모드를 켜 두어도 관리자는 예외로 설정되어 있고, 세션 유지시간도 약 2주(? 미친)로 설정되어 있다보니 별도의 로그인 없이 들어와서 작업을 한 것이었습니다.

  # 본 규칙은 서버의 중요한 유지보수 모드를 위한 것입니다.
  # 규칙을 적용하기 위해 아래의 IP 주소를 유지보수 작업 IP를 기록하고
  # maintenance.enable 파일을 생성해주세요.
  RewriteCond %{REMOTE_ADDR} !121.144.74.110
  RewriteCond %{DOCUMENT_ROOT}/maintenance.html -f
  RewriteCond %{DOCUMENT_ROOT}/maintenance.enable -f
  RewriteRule ^ maintenance.html [L]

위 내용 IP주소는 제가 작업 중인 PC의 IP주소입니다. 접속한 IP가 명기된 IP가 아니고, maintenance.html, maintenance.enable 파일이 존재하면 maintenance.htm 파일의 내용이 출력되도록 해둔 것입니다.

MySQL이나 MariaDB 모두 최적화하는 방식의 차이는 있으나 테이블 단위로 최적화하는 명령을 재공합니다. 하지만 전 mysql과 mysqldump를 이용하여 백업하고 복구하는 형태로 진행을 했습니다.

아래 내용은 최적화 전 물리적인 파일의 용량입니다.

# 최적화 전
root@axxxxx:/var/lib/mysql# du -m
64154   ./g...............    // 62.5GB
12      ./mysql
1       ./performance_schema
64785

그리고 아래의 내용은 최적화 후의 용량입니다.

# 최적화 후
root@axxxxx:/var/lib/mysql# du -m
12330   ./g...............     // 12.0GB
12      ./mysql
1       ./performance_schema
12961

약 5배의 공간 절약이 있었습니다.

swap 메모리(가상메모리) 추가

메모리가 부족하여 서비스가 다운되는 것을 막기 위해 성능은 떨어지지만 저장소(SSD)에 Swap 파일을 생성하여 들록했습니다. 용량은 메모리와 동일한 16GB로 지정했습니다. 아래의 내용은 Swap 메몰리를 추가하는 과정입니다.

# 핸재 메모리 사용 현황 확인
free -m

# 디스크 가용 용량 확인
df

# Swap 메모리 상태 확인
swapon

# Swap 메모리용 파일 생성
fallocate -l 4G /swapfile

# 권한 설정
chmod 600 /swapfile 

# swapfile을 Swap 메모리용으로 설정
mkswap /swapfile

# swapfile을 Swap 메모리로 활성화
swapon /swapfile

# fstab에 마운터 정보 설정
echo "/swapfile swap swap defaults 0 0"    >> /etc/fstab

기록 보관 : NFT 발행을 위한 이미지 제작

jhansol — Mon, 22 Jan 2024 23:40:37 +0900

저의 개인 홈페이지에 있던 내용을 옮겨 기록하고자 합니다. 제가 게으른 탓에 활용하기 힘들고 유지를 하기에 금전적으로도 낭비다 생각되어 님길 것은 남기고, 버릴 것은 버리고 사이트를 없에기 위함입니다. 기존 내용 그대로 아래와 같이 옮겼습니다.

스마트 컨트렉트가 어느 정도 준비가 되었다. 이재 NFT 이미지를 제작해야 한다. 여기에는 이미지 제작을 위해 내가 시행착오를 겪었던 것과 NFT 이미지에 대한 내 개인적인 생각을 기록하려고 한다.

제작전 탐색

이 부분도 조코딩님의 유투브 체널을 참조했다. 여기선 소개된 HashLips / hashlips_art_engine 을 이용하여 이미지를 제작하려고 했다. 하지만 버전문제와 의도치 않은 구문오류가 발생한다. 그래서 대안은 없는지 인터넷을 검색해보니 이미지를 제작해주는 온라인 사이트가 여럿 있다. 그러나 이들 사이트의 경우 이미지 숫자, 기타 제한이 있었다. 그 외 응용프로그램(Windows, Mac, Linux)도 다수 존재했으나 앞에 소개한 NodeJs 기반으로 운영체제 독립적인 도구가 나오는 상황에서 사용하기 꺼려졌다.

검색하다 마지막으로 찾은 것이 nft-art-maker 패키지이다. 이 패키지는 NodeJs 전역에서 사용 가능한 패키지로 HashLips / hashlips_art_engine 를 기반으로 제작되었다고 한다. 약간의 시행착오를 거쳤지만 매우 만족할 만큼 이미지 제작이 되었다.

제작 환경

nft-art-maker 패키지는 버전의 영향을 많이 받는다. 공식 홈페이지를 보면 최소 NodeJs 14.14.0 이상에서 동작하지만 버전 18에서는 아직 동작하지 않는다고 되어 있다. 요즘 NodeJs 버전 때문에 스트레스가 이만저만이 아니었다. 그래서 아에 NVM 체제로 변경하였다. 이 프로젝트도 NVM 환경에서 버전을 선택한 후 작업하였다.

우선 NVM을 설치해야 한다.

Mac 환경에서 NVM 설치

우선 Homebrew가 설치되어 있어야 한다. 설치되어 있지 않다면 설치 후 아래 과정을 진행한다.

brew uninstall node
brew install nvm

혹시 문제가 발생할까봐 현재의 시스템에 설치되어 있는 NodeJs를 삭제하고 설치했다.

Windows 환경에 NVM 설치

Windows 에서는 coreybutler / nvm-windows 에서 설치버전을 다운받아 설치한다. 설치 마법사 형태로 설치가 되므로 매우 간단하게 설치할 수 있다. 사용방법은 같다.

NVM에서 14.14.0 설치 및 사용

특정 벚전의 설치와 사용은 아래와 같다.

nvm install 14.14.0
nvm use 14.14.0

이재 NodeJs 버전을 확인하면 "v14.14.0" 이라고 표시될 것이다. 한 가지 주의할 점은 버전 사용은 위 명령을 실행한 터미널 세션 안에서만 유효하다. 다른 터미널을 실행한 후 버전을 확인하면 결과가 다르게 나올 것이다.

% node -v
v19.1.0

% nvm use 14.14.0
Now using node v14.14.0 (npm v6.14.8)

% node -v
v14.14.0

nft-art-maker 패키지 설치

이 패키지는 전역으로 설치하여 이용한다. 아래와 같이 설치한다. 설치하기 전에 위와 같이 NodeJs 버전을 14.14.0 으로 변경한 다음 설치해야한다.

npm install nft-art-maker@latest -g

NFT 이미지 소스 준비 및 환경설정

이미지 소스 준비

이미지는 조합 대상 분류에 따라 폴더 단위로 구성한다. 각 폴드 안에는 조합 대상의 이미지(특히 PNG)를 준비한다. 참고로 이미지 이름에 "#확률" 형태로 확률을 백분율로 지정하여 조합 확률을 지정할 수 있다. 여기서는 확률을 지정하지 않았다.

이미지 폴더는 아래와 같이 준비하였다.

layers
├── arrow
├── background
├── character
├── check
├── fx
└── home

각 폴더에는 이미지가 10개씩 준비되어 있다. 이들을 조합하면 최대 1,000,000개의 이미지를 생성할 수 있다

이미지 조합 환경 설정

이재 제작을 위한 마지막 일만 남았다. 이미지 제작에 대한 설정을 해주어야 하는데, layers 폴더가 보이는 곳에 ".nftartmakerrc" 파일을 생성하여 아래와 같은 설정 내용을 저장한다.

{
  "description": "SOHOCODE Test NFT",
  "layerConfigurations": [
    {
      "growEditionSizeTo": 1000,
      "layersOrder": [
        {"name": "background"},
        {"name": "arrow"},
        {"name": "fx"},
        {"name": "check"},
        {"name": "home"},
        {"name": "character"}
      ]
    }
  ],
  "format": {
    "width": 500,
    "height": 173
  }
}

위 설정 내용은 아래와 같다.

본 NFT 이미지 설명은 "SOHOCODE Test NFT"으로 추 후 콜렉션 제목으로 이용된다.
이미지 제작 개수는 1000개로한다.
이미지 레어 조합 순서는 "background"를 제일 아래에 배치하고, 순서데로 "arrow", "fx", "check", "home", "character" 등의 폴더를 쌓아 올려 조합한다.
이미지의 크기는 가래 500픽셀, 세로 173픽셀로 한다.

이미지 제작

모든 준비가 다 되었다. 아래의 명령으로 위에서 설정한 데로 이미지를 제작하도록 한다.

nft-art-maker generate

환경설정 파일에 문제가 없다면 아래와 같이 output 폴더가 생성되고 이미지와 메타데이터가 생성된다.

.
├── layers
│   ├── arrow
│   ├── background
│   ├── character
│   ├── check
│   ├── fx
│   └── home
└── output
    ├── images
    ├── json
    └── metadata.json

아래 그림처럼 이미지가 조합되어 100개가 만들어 졌다. 이재 이것을 ipfs나 자체 서버에 보관하고 NFT 발행에 활용하면 된다.

실행 후 검토 사항

이 글을 적기 전에 내가 예상한 이미지 수(1,000,000개)를 생성을 시도했다. 이미지 저장 용량이 상당히 크다. 앞으로 서버시의 활용에 따라 그 이상의 NFT가 발행될 것이다. 그렇게 되면 저장 욜량으로 인한 문제가 크게 대두될 것이다. 위와 같이 이미지를 제작하는 것은 소량으로 발행하고, 유지를 위한 지속적인 수익이 나올 때 적합하다.
NFT에서 사용되는 이미지, 비디오 등은 미디어 소유 자체를 의미하지 않는다면 굳이 각 NFT 별로 유일한 이미지를 가질 필요는 없다. 그리고 메타데이터 역시 마찬가지이다. 오픈씨나 NFT 마켓을 통해 유통하지 않는다면 메타데이터 역시 필요하지 않다. 필요하더라도 별도의 Json 파일을 만들지 않고 요청 시 서버에서 동적으로 생성하여 전송하는 것도 가능하다.
이를 바탕으로 초 대량으로 NFT를 발행하고 각족 서비스를 제공하는 경우 각 NFT 발행 시 하나의 독특한 이미지를 사용하고 메타데이터는 배경시스틈(Backend System)에서 동적으로 생성하여 전송하는 것이 좋겠다는 생각이 든다.

참고자료

HashLips / hashlips_art_engine
조코딩 JoCoding
coreybutler / nvm-windows
coreybutler / nvm-windows

기록 보관 : NFT 발행을 위한 스마트 큰트렉트

jhansol — Mon, 22 Jan 2024 23:26:34 +0900

이 글은 유투브 체널 조코딩 JoCoding 의 영상에서 소개한 스마트 컨트렉트 코드를 나의 학습을 위해 주속을 제거하여 올려둔다. 스마트 컨트렉트를 이용한 NFT 발행 실무코드를 보고자한다. 아래 코드는 Github 소스를 내 나름데로 수정하고 정리한 것이다.

pragma solidity ^0.5.0;

// ---------------------------------------------------------------------------
// 인터이스 모음
// ---------------------------------------------------------------------------
interface IKIP13 {
    function supportsInterface(bytes4 interfaceId) external view returns (bool);
}

interface IKIP17 is IKIP13 {
    event Transfer(address indexed from, address indexed to, uint256 indexed tokenId);
    event Approval(address indexed owner, address indexed approved, uint256 indexed tokenId);
    event ApprovalForAll(address indexed owner, address indexed operator, bool approved);
    function balanceOf(address owner) public view returns (uint256 balance);
    function ownerOf(uint256 tokenId) public view returns (address owner);
    function safeTransferFrom(address from, address to, uint256 tokenId) public;
    function transferFrom(address from, address to, uint256 tokenId) public;
    function approve(address to, uint256 tokenId) public;
    function getApproved(uint256 tokenId) public view returns (address operator);
    function setApprovalForAll(address operator, bool _approved) public;
    function isApprovedForAll(address owner, address operator) public view returns (bool);
    function safeTransferFrom(address from, address to, uint256 tokenId, bytes memory data) public;
}

interface IERC721Receiver {
    function onERC721Received(address operator, address from, uint256 tokenId, bytes memory data) public returns (bytes4);
}

interface IKIP17Receiver {
    function onKIP17Received(address operator, address from, uint256 tokenId, bytes memory data) public returns (bytes4);
}

interface IKIP17Enumerable is IKIP17 {
    function totalSupply() public view returns (uint256);
    function tokenOfOwnerByIndex(address owner, uint256 index) public view returns (uint256 tokenId);

    function tokenByIndex(uint256 index) public view returns (uint256);
}

interface IKIP17Metadata is IKIP17 {
    function name() external view returns (string memory);
    function symbol() external view returns (string memory);
    function tokenURI(uint256 tokenId) external view returns (string memory);
}


// ---------------------------------------------------------------------------
// 라이브러리 모음
// ---------------------------------------------------------------------------
library SafeMath {
    function add(uint256 a, uint256 b) internal pure returns (uint256) {
        uint256 c = a + b;
        require(c >= a, "SafeMath: addition overflow");

        return c;
    }

    function sub(uint256 a, uint256 b) internal pure returns (uint256) {
        return sub(a, b, "SafeMath: subtraction overflow");
    }

    function sub(uint256 a, uint256 b, string memory errorMessage) internal pure returns (uint256) {
        require(b <= a, errorMessage);
        uint256 c = a - b;

        return c;
    }

    function mul(uint256 a, uint256 b) internal pure returns (uint256) {
        if (a == 0) {
            return 0;
        }

        uint256 c = a * b;
        require(c / a == b, "SafeMath: multiplication overflow");

        return c;
    }

    function div(uint256 a, uint256 b) internal pure returns (uint256) {
        return div(a, b, "SafeMath: division by zero");
    }

    function div(uint256 a, uint256 b, string memory errorMessage) internal pure returns (uint256) {
        require(b > 0, errorMessage);
        uint256 c = a / b;

        return c;
    }

    function mod(uint256 a, uint256 b) internal pure returns (uint256) {
        return mod(a, b, "SafeMath: modulo by zero");
    }

    function mod(uint256 a, uint256 b, string memory errorMessage) internal pure returns (uint256) {
        require(b != 0, errorMessage);
        return a % b;
    }
}

library Address {
    function isContract(address account) internal view returns (bool) {
        uint256 size;
        // solhint-disable-next-line no-inline-assembly
        assembly { size := extcodesize(account) }
        return size > 0;
    }
}

library Counters {
    using SafeMath for uint256;

    struct Counter {
        uint256 _value; // default: 0
    }

    function current(Counter storage counter) internal view returns (uint256) {
        return counter._value;
    }

    function increment(Counter storage counter) internal {
        counter._value += 1;
    }

    function decrement(Counter storage counter) internal {
        counter._value = counter._value.sub(1);
    }
}

library Roles {
    struct Role {
        mapping (address => bool) bearer;
    }

    function add(Role storage role, address account) internal {
        require(!has(role, account), "Roles: account already has role");
        role.bearer[account] = true;
    }

    function remove(Role storage role, address account) internal {
        require(has(role, account), "Roles: account does not have role");
        role.bearer[account] = false;
    }

    function has(Role storage role, address account) internal view returns (bool) {
        require(account != address(0), "Roles: account is the zero address");
        return role.bearer[account];
    }
}

library String {
  function uint2str(uint _i) internal pure returns (string memory _uintAsString) {
    if (_i == 0) {
      return "0";
    }
    uint j = _i;
    uint len;
    while (j != 0) {
      len++;
      j /= 10;
    }
    bytes memory bstr = new bytes(len);
    uint k = len - 1;
    while (_i != 0) {
      bstr[k--] = byte(uint8(48 + _i % 10));
      _i /= 10;
    }
    return string(bstr);
  }
}

library MerkleProof {
    function verify(
        bytes32[] memory proof,
        bytes32 root,
        bytes32 leaf
    ) internal pure returns (bool) {
        return processProof(proof, leaf) == root;
    }

    function processProof(bytes32[] memory proof, bytes32 leaf) internal pure returns (bytes32) {
        bytes32 computedHash = leaf;
        for (uint256 i = 0; i < proof.length; i++) {
            bytes32 proofElement = proof[i];
            if (computedHash <= proofElement) {
                // Hash(current computed hash + current element of the proof)
                computedHash = _efficientHash(computedHash, proofElement);
            } else {
                // Hash(current element of the proof + current computed hash)
                computedHash = _efficientHash(proofElement, computedHash);
            }
        }
        return computedHash;
    }

    function _efficientHash(bytes32 a, bytes32 b) private pure returns (bytes32 value) {
        assembly {
            mstore(0x00, a)
            mstore(0x20, b)
            value := keccak256(0x00, 0x40)
        }
    }
}

// ---------------------------------------------------------------------------
// 컨트렉트 모음
// ---------------------------------------------------------------------------
contract KIP13 is IKIP13 {
    bytes4 private constant _INTERFACE_ID_KIP13 = 0x01ffc9a7;
    mapping(bytes4 => bool) private _supportedInterfaces;

    constructor () internal {
        _registerInterface(_INTERFACE_ID_KIP13);
    }

    function supportsInterface(bytes4 interfaceId) external view returns (bool) {
        return _supportedInterfaces[interfaceId];
    }

    function _registerInterface(bytes4 interfaceId) internal {
        require(interfaceId != 0xffffffff, "KIP13: invalid interface id");
        _supportedInterfaces[interfaceId] = true;
    }
}


contract KIP17 is KIP13, IKIP17 {
    using SafeMath for uint256;
    using Address for address;
    using Counters for Counters.Counter;

    bytes4 private constant _KIP17_RECEIVED = 0x6745782b;
    bytes4 private constant _ERC721_RECEIVED = 0x150b7a02;
    bytes4 private constant _INTERFACE_ID_KIP17 = 0x80ac58cd;
    mapping (uint256 => address) private _tokenOwner;
    mapping (uint256 => address) private _tokenApprovals;
    mapping (address => Counters.Counter) private _ownedTokensCount;
    mapping (address => mapping (address => bool)) private _operatorApprovals;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17);
    }

    function balanceOf(address owner) public view returns (uint256) {
        require(owner != address(0), "KIP17: balance query for the zero address");

        return _ownedTokensCount[owner].current();
    }

    function ownerOf(uint256 tokenId) public view returns (address) {
        address owner = _tokenOwner[tokenId];
        require(owner != address(0), "KIP17: owner query for nonexistent token");

        return owner;
    }

    function approve(address to, uint256 tokenId) public {
        address owner = ownerOf(tokenId);
        require(to != owner, "KIP17: approval to current owner");

        require(msg.sender == owner || isApprovedForAll(owner, msg.sender),
            "KIP17: approve caller is not owner nor approved for all"
        );

        _tokenApprovals[tokenId] = to;
        emit Approval(owner, to, tokenId);
    }

    function getApproved(uint256 tokenId) public view returns (address) {
        require(_exists(tokenId), "KIP17: approved query for nonexistent token");

        return _tokenApprovals[tokenId];
    }

    function setApprovalForAll(address to, bool approved) public {
        require(to != msg.sender, "KIP17: approve to caller");

        _operatorApprovals[msg.sender][to] = approved;
        emit ApprovalForAll(msg.sender, to, approved);
    }

    function isApprovedForAll(address owner, address operator) public view returns (bool) {
        return _operatorApprovals[owner][operator];
    }

    function transferFrom(address from, address to, uint256 tokenId) public {
        //solhint-disable-next-line max-line-length
        require(_isApprovedOrOwner(msg.sender, tokenId), "KIP17: transfer caller is not owner nor approved");

        _transferFrom(from, to, tokenId);
    }

    function safeTransferFrom(address from, address to, uint256 tokenId) public {
        safeTransferFrom(from, to, tokenId, "");
    }

    function safeTransferFrom(address from, address to, uint256 tokenId, bytes memory _data) public {
        transferFrom(from, to, tokenId);
        require(_checkOnKIP17Received(from, to, tokenId, _data), "KIP17: transfer to non KIP17Receiver implementer");
    }

    function _exists(uint256 tokenId) internal view returns (bool) {
        address owner = _tokenOwner[tokenId];
        return owner != address(0);
    }

    function _isApprovedOrOwner(address spender, uint256 tokenId) internal view returns (bool) {
        require(_exists(tokenId), "KIP17: operator query for nonexistent token");
        address owner = ownerOf(tokenId);
        return (spender == owner || getApproved(tokenId) == spender || isApprovedForAll(owner, spender));
    }

    function _mint(address to, uint256 tokenId) internal {
        require(to != address(0), "KIP17: mint to the zero address");
        require(!_exists(tokenId), "KIP17: token already minted");

        _tokenOwner[tokenId] = to;
        _ownedTokensCount[to].increment();

        emit Transfer(address(0), to, tokenId);
    }

    function _burn(address owner, uint256 tokenId) internal {
        require(ownerOf(tokenId) == owner, "KIP17: burn of token that is not own");

        _clearApproval(tokenId);

        _ownedTokensCount[owner].decrement();
        _tokenOwner[tokenId] = address(0);

        emit Transfer(owner, address(0), tokenId);
    }

    function _burn(uint256 tokenId) internal {
        _burn(ownerOf(tokenId), tokenId);
    }

    function _transferFrom(address from, address to, uint256 tokenId) internal {
        require(ownerOf(tokenId) == from, "KIP17: transfer of token that is not own");
        require(to != address(0), "KIP17: transfer to the zero address");

        _clearApproval(tokenId);

        _ownedTokensCount[from].decrement();
        _ownedTokensCount[to].increment();

        _tokenOwner[tokenId] = to;

        emit Transfer(from, to, tokenId);
    }

    function _checkOnKIP17Received(address from, address to, uint256 tokenId, bytes memory _data)
        internal returns (bool)
    {
        bool success; 
        bytes memory returndata;

        if (!to.isContract()) {
            return true;
        }

        // Logic for compatibility with ERC721.
        (success, returndata) = to.call(
            abi.encodeWithSelector(_ERC721_RECEIVED, msg.sender, from, tokenId, _data)
        );
        if (returndata.length != 0 && abi.decode(returndata, (bytes4)) == _ERC721_RECEIVED) {
            return true;
        }

        (success, returndata) = to.call(
            abi.encodeWithSelector(_KIP17_RECEIVED, msg.sender, from, tokenId, _data)
        );
        if (returndata.length != 0 && abi.decode(returndata, (bytes4)) == _KIP17_RECEIVED) {
            return true;
        }

        return false;
    }

    function _clearApproval(uint256 tokenId) private {
        if (_tokenApprovals[tokenId] != address(0)) {
            _tokenApprovals[tokenId] = address(0);
        }
    }
}

contract KIP17Enumerable is KIP13, KIP17, IKIP17Enumerable {
    mapping(address => uint256[]) private _ownedTokens;
    mapping(uint256 => uint256) private _ownedTokensIndex;
    uint256[] private _allTokens;
    mapping(uint256 => uint256) private _allTokensIndex;

    bytes4 private constant _INTERFACE_ID_KIP17_ENUMERABLE = 0x780e9d63;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17_ENUMERABLE);
    }

    function tokenOfOwnerByIndex(address owner, uint256 index) public view returns (uint256) {
        require(index < balanceOf(owner), "KIP17Enumerable: owner index out of bounds");
        return _ownedTokens[owner][index];
    }

    function totalSupply() public view returns (uint256) {
        return _allTokens.length;
    }

    function tokenByIndex(uint256 index) public view returns (uint256) {
        require(index < totalSupply(), "KIP17Enumerable: global index out of bounds");
        return _allTokens[index];
    }

    function _transferFrom(address from, address to, uint256 tokenId) internal {
        super._transferFrom(from, to, tokenId);

        _removeTokenFromOwnerEnumeration(from, tokenId);

        _addTokenToOwnerEnumeration(to, tokenId);
    }

    function _mint(address to, uint256 tokenId) internal {
        super._mint(to, tokenId);

        _addTokenToOwnerEnumeration(to, tokenId);

        _addTokenToAllTokensEnumeration(tokenId);
    }

    function _burn(address owner, uint256 tokenId) internal {
        super._burn(owner, tokenId);

        _removeTokenFromOwnerEnumeration(owner, tokenId);
        _ownedTokensIndex[tokenId] = 0;

        _removeTokenFromAllTokensEnumeration(tokenId);
    }

    function _tokensOfOwner(address owner) internal view returns (uint256[] storage) {
        return _ownedTokens[owner];
    }

    function _addTokenToOwnerEnumeration(address to, uint256 tokenId) private {
        _ownedTokensIndex[tokenId] = _ownedTokens[to].length;
        _ownedTokens[to].push(tokenId);
    }

    function _addTokenToAllTokensEnumeration(uint256 tokenId) private {
        _allTokensIndex[tokenId] = _allTokens.length;
        _allTokens.push(tokenId);
    }

    function _removeTokenFromOwnerEnumeration(address from, uint256 tokenId) private {
        uint256 lastTokenIndex = _ownedTokens[from].length.sub(1);
        uint256 tokenIndex = _ownedTokensIndex[tokenId];

        if (tokenIndex != lastTokenIndex) {
            uint256 lastTokenId = _ownedTokens[from][lastTokenIndex];

            _ownedTokens[from][tokenIndex] = lastTokenId; // Move the last token to the slot of the to-delete token
            _ownedTokensIndex[lastTokenId] = tokenIndex; // Update the moved token's index
        }

        _ownedTokens[from].length--;
    }

    function _removeTokenFromAllTokensEnumeration(uint256 tokenId) private {
        uint256 lastTokenIndex = _allTokens.length.sub(1);
        uint256 tokenIndex = _allTokensIndex[tokenId];
        uint256 lastTokenId = _allTokens[lastTokenIndex];

        _allTokens[tokenIndex] = lastTokenId; // Move the last token to the slot of the to-delete token
        _allTokensIndex[lastTokenId] = tokenIndex; // Update the moved token's index
        _allTokens.length--;
        _allTokensIndex[tokenId] = 0;
    }
}

contract KIP17Metadata is KIP13, KIP17, IKIP17Metadata {
    string private _name;
    string private _symbol;

    mapping(uint256 => string) private _tokenURIs;
    bytes4 private constant _INTERFACE_ID_KIP17_METADATA = 0x5b5e139f;

    constructor (string memory name, string memory symbol) public {
        _name = name;
        _symbol = symbol;

        _registerInterface(_INTERFACE_ID_KIP17_METADATA);
    }

    function name() external view returns (string memory) {
        return _name;
    }

    function symbol() external view returns (string memory) {
        return _symbol;
    }

    function tokenURI(uint256 tokenId) external view returns (string memory) {
        require(_exists(tokenId), "KIP17Metadata: URI query for nonexistent token");
        return _tokenURIs[tokenId];
    }

    function _setTokenURI(uint256 tokenId, string memory uri) internal {
        require(_exists(tokenId), "KIP17Metadata: URI set of nonexistent token");
        _tokenURIs[tokenId] = uri;
    }

    function _burn(address owner, uint256 tokenId) internal {
        super._burn(owner, tokenId);

        if (bytes(_tokenURIs[tokenId]).length != 0) {
            delete _tokenURIs[tokenId];
        }
    }
}

contract Ownable {
    address payable private _owner;

    event OwnershipTransferred(address indexed previousOwner, address indexed newOwner);

    constructor () internal {
        _owner = msg.sender;
        emit OwnershipTransferred(address(0), _owner);
    }

    function owner() public view returns (address payable) {
        return _owner;
    }

    modifier onlyOwner() {
        require(isOwner(), "Ownable: caller is not the owner");
        _;
    }

    function isOwner() public view returns (bool) {
        return msg.sender == _owner;
    }

    function renounceOwnership() public onlyOwner {
        emit OwnershipTransferred(_owner, address(0));
        _owner = address(0);
    }

    function transferOwnership(address payable newOwner) public onlyOwner {
        _transferOwnership(newOwner);
    }

    function _transferOwnership(address payable newOwner) internal {
        require(newOwner != address(0), "Ownable: new owner is the zero address");
        emit OwnershipTransferred(_owner, newOwner);
        _owner = newOwner;
    }
}

contract MinterRole {
    using Roles for Roles.Role;

    event MinterAdded(address indexed account);
    event MinterRemoved(address indexed account);

    Roles.Role private _minters;

    constructor () internal {
        _addMinter(msg.sender);
    }

    modifier onlyMinter() {
        require(isMinter(msg.sender), "MinterRole: caller does not have the Minter role");
        _;
    }

    function isMinter(address account) public view returns (bool) {
        return _minters.has(account);
    }

    function addMinter(address account) public onlyMinter {
        _addMinter(account);
    }

    function renounceMinter() public {
        _removeMinter(msg.sender);
    }

    function _addMinter(address account) internal {
        _minters.add(account);
        emit MinterAdded(account);
    }

    function _removeMinter(address account) internal {
        _minters.remove(account);
        emit MinterRemoved(account);
    }
}

contract KIP17Kbirdz is KIP17, KIP17Enumerable, KIP17Metadata, MinterRole {
    mapping (address => uint256) private _lastCallBlockNumber;
    uint256 private _antibotInterval;

    uint256 private _mintIndexForSale;
    uint256 private _mintLimitPerBlock;           // Maximum purchase nft per person per block
    uint256 private _mintLimitPerSale;            // Maximum purchase nft per person per sale

    string  private _tokenBaseURI;
    uint256 private _mintStartBlockNumber;        // In blockchain, blocknumber is the standard of time.
    uint256 private _maxSaleAmount;               // Maximum purchase volume of normal sale.
    uint256 private _mintPrice;                   // 1 KLAY = 1000000000000000000

    string baseURI;
    string notRevealedUri;
    bool public revealed = false;
    bool public publicMintEnabled = false;

    function _baseURI() internal view returns (string memory) {
      return baseURI;
    }

    function _notRevealedURI() internal view returns (string memory) {
      return notRevealedUri;
    }

    function setBaseURI(string memory _newBaseURI) public onlyMinter {
      baseURI = _newBaseURI;
    }

    function setNotRevealedURI(string memory _newNotRevealedURI) public onlyMinter {
      notRevealedUri = _newNotRevealedURI;
    }

    function reveal(bool _state) public onlyMinter {
      revealed = _state;
    }

    function tokenURI(uint256 tokenId)
      public
      view
      returns (string memory)
    {
      require(
        _exists(tokenId),
        "KIP17Metadata: URI query for nonexistent token"
      );

      if(revealed == false) {
        string memory currentNotRevealedUri = _notRevealedURI();
        return bytes(currentNotRevealedUri).length > 0
            ? string(abi.encodePacked(currentNotRevealedUri, String.uint2str(tokenId), ".json"))
            : "";
      }
      string memory currentBaseURI = _baseURI();
      return bytes(currentBaseURI).length > 0
          ? string(abi.encodePacked(currentBaseURI, String.uint2str(tokenId), ".json"))
          : "";
    }

    constructor () public {
      _mintIndexForSale = 1;
    }

    function withdraw() external onlyMinter{
      // This code transfers 5% of the withdraw to JoCoding as a donation.
      // =============================================================================
      0x3e944Ca8B08a0a0D3245B05ABF01586B9142f52C.transfer(address(this).balance * 5 / 100);
      // =============================================================================
      // This will transfer the remaining contract balance to the owner.
      // Do not remove this otherwise you will not be able to withdraw the funds.
      // =============================================================================
      msg.sender.transfer(address(this).balance);
      // =============================================================================
    }

    function mintingInformation() external view returns (uint256[7] memory){
      uint256[7] memory info =
        [_antibotInterval, _mintIndexForSale, _mintLimitPerBlock, _mintLimitPerSale, 
          _mintStartBlockNumber, _maxSaleAmount, _mintPrice];
      return info;
    }

    function setPublicMintEnabled(bool _state) public onlyMinter {
      publicMintEnabled = _state;
    }

    function setupSale(uint256 newAntibotInterval, 
                       uint256 newMintLimitPerBlock,
                       uint256 newMintLimitPerSale,
                       uint256 newMintStartBlockNumber,
                       uint256 newMintIndexForSale,
                       uint256 newMaxSaleAmount,
                       uint256 newMintPrice) external onlyMinter{
      _antibotInterval = newAntibotInterval;
      _mintLimitPerBlock = newMintLimitPerBlock;
      _mintLimitPerSale = newMintLimitPerSale;
      _mintStartBlockNumber = newMintStartBlockNumber;
      _mintIndexForSale = newMintIndexForSale;
      _maxSaleAmount = newMaxSaleAmount;
      _mintPrice = newMintPrice;
    }

    //Public Mint
    function publicMint(uint256 requestedCount) external payable {
      require(publicMintEnabled, "The public sale is not enabled!");
      require(_lastCallBlockNumber[msg.sender].add(_antibotInterval) < block.number, "Bot is not allowed");
      require(block.number >= _mintStartBlockNumber, "Not yet started");
      require(requestedCount > 0 && requestedCount <= _mintLimitPerBlock, "Too many requests or zero request");
      require(msg.value == _mintPrice.mul(requestedCount), "Not enough Klay");
      require(_mintIndexForSale.add(requestedCount) <= _maxSaleAmount + 1, "Exceed max amount");
      require(balanceOf(msg.sender) + requestedCount <= _mintLimitPerSale, "Exceed max amount per person");

      for(uint256 i = 0; i < requestedCount; i++) {
        _mint(msg.sender, _mintIndexForSale);
        _mintIndexForSale = _mintIndexForSale.add(1);
      }
      _lastCallBlockNumber[msg.sender] = block.number;
    }

    //Whitelist Mint
    bytes32 public merkleRoot;
    mapping(address => bool) public whitelistClaimed;
    bool public whitelistMintEnabled = false;

    function setMerkleRoot(bytes32 _merkleRoot) public onlyMinter {
      merkleRoot = _merkleRoot;
    }

    function setWhitelistMintEnabled(bool _state) public onlyMinter {
      whitelistMintEnabled = _state;
    }

    function whitelistMint(uint256 requestedCount, bytes32[] calldata _merkleProof) external payable {
      require(whitelistMintEnabled, "The whitelist sale is not enabled!");
      require(msg.value == _mintPrice.mul(requestedCount), "Not enough Klay");
      require(!whitelistClaimed[msg.sender], 'Address already claimed!');
      require(requestedCount > 0 && requestedCount <= _mintLimitPerBlock, "Too many requests or zero request");
      bytes32 leaf = keccak256(abi.encodePacked(msg.sender));
      require(MerkleProof.verify(_merkleProof, merkleRoot, leaf), 'Invalid proof!');

      for(uint256 i = 0; i < requestedCount; i++) {
        _mint(msg.sender, _mintIndexForSale);
        _mintIndexForSale = _mintIndexForSale.add(1);
      }

      whitelistClaimed[msg.sender] = true;
    }

    //Airdrop Mint
    function airDropMint(address user, uint256 requestedCount) external onlyMinter {
      require(requestedCount > 0, "zero request");
      for(uint256 i = 0; i < requestedCount; i++) {
        _mint(user, _mintIndexForSale);
        _mintIndexForSale = _mintIndexForSale.add(1);
      }
    }
}


contract KIP17Full is KIP17, KIP17Enumerable, KIP17Metadata, Ownable, KIP17Kbirdz {
    constructor (string memory name, string memory symbol) public KIP17Metadata(name, symbol) {
        // solhint-disable-previous-line no-empty-blocks
    }
}


contract KIP17MetadataMintable is KIP13, KIP17, KIP17Metadata, MinterRole {
    bytes4 private constant _INTERFACE_ID_KIP17_METADATA_MINTABLE = 0xfac27f46;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17_METADATA_MINTABLE);
    }

    function mintWithTokenURI(address to, uint256 tokenId, string memory tokenURI) public onlyMinter returns (bool) {
        _mint(to, tokenId);
        _setTokenURI(tokenId, tokenURI);
        return true;
    }
}


contract KIP17Mintable is KIP17, MinterRole {
    bytes4 private constant _INTERFACE_ID_KIP17_MINTABLE = 0xeab83e20;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17_MINTABLE);
    }

    function mint(address to, uint256 tokenId) public onlyMinter returns (bool) {
        _mint(to, tokenId);
        return true;
    }
}

contract KIP17Burnable is KIP13, KIP17 {
    bytes4 private constant _INTERFACE_ID_KIP17_BURNABLE = 0x42966c68;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17_BURNABLE);
    }

    function burn(uint256 tokenId) public {
        //solhint-disable-next-line max-line-length
        require(_isApprovedOrOwner(msg.sender, tokenId), "KIP17Burnable: caller is not owner nor approved");
        _burn(tokenId);
    }
}

contract PauserRole {
    using Roles for Roles.Role;

    event PauserAdded(address indexed account);
    event PauserRemoved(address indexed account);

    Roles.Role private _pausers;

    constructor () internal {
        _addPauser(msg.sender);
    }

    modifier onlyPauser() {
        require(isPauser(msg.sender), "PauserRole: caller does not have the Pauser role");
        _;
    }

    function isPauser(address account) public view returns (bool) {
        return _pausers.has(account);
    }

    function addPauser(address account) public onlyPauser {
        _addPauser(account);
    }

    function renouncePauser() public {
        _removePauser(msg.sender);
    }

    function _addPauser(address account) internal {
        _pausers.add(account);
        emit PauserAdded(account);
    }

    function _removePauser(address account) internal {
        _pausers.remove(account);
        emit PauserRemoved(account);
    }
}

contract Pausable is PauserRole {
    event Paused(address account);
    event Unpaused(address account);

    bool private _paused;

    constructor () internal {
        _paused = false;
    }

    function paused() public view returns (bool) {
        return _paused;
    }

    modifier whenNotPaused() {
        require(!_paused, "Pausable: paused");
        _;
    }

    modifier whenPaused() {
        require(_paused, "Pausable: not paused");
        _;
    }

    function pause() public onlyPauser whenNotPaused {
        _paused = true;
        emit Paused(msg.sender);
    }

    function unpause() public onlyPauser whenPaused {
        _paused = false;
        emit Unpaused(msg.sender);
    }
}

contract KIP17Pausable is KIP13, KIP17, Pausable {
    bytes4 private constant _INTERFACE_ID_KIP17_PAUSABLE = 0x4d5507ff;

    constructor () public {
        _registerInterface(_INTERFACE_ID_KIP17_PAUSABLE);
    }

    function approve(address to, uint256 tokenId) public whenNotPaused {
        super.approve(to, tokenId);
    }

    function setApprovalForAll(address to, bool approved) public whenNotPaused {
        super.setApprovalForAll(to, approved);
    }

    function transferFrom(address from, address to, uint256 tokenId) public whenNotPaused {
        super.transferFrom(from, to, tokenId);
    }
}

contract KIP17KbirdzToken is KIP17Full, KIP17Mintable, KIP17MetadataMintable, KIP17Burnable, KIP17Pausable {
    constructor (string memory name, string memory symbol) public KIP17Full(name, symbol) {
    }
}

기록 보관 : Drupal 7 Search Api 일괄처리 오류로 인한 성능의 급격한 저하

jhansol — Mon, 22 Jan 2024 23:04:27 +0900

오늘(2022년 9월 24일) 나는 어재 오후부터 지옥을 해마다 나온 듯 하다.

회사에서 유지보수 및 서버 운영을 하고 있는 GCEDClearinghouse 홈페이지가 매우 심학하게 느려지고, 운영사에서도 항의성 전화가 오고 원인을 찾느라고 지금까지 해매고 겨우 원인을 찾아 임시방편이지만 해결했다.

htop 명령으로 서버 상태 확인
MySQL Slow Query 확인
의심 원인 확인
인터넷 검색
해결

htop 명령으로 서버 상태 확인

와래와 같이 htop 명령을 실행하여 확인해보니 서버 가용 자원이 거의 남아 있지 않다. 서버의 평균 부하율을 보면 거의 300%에 도달해 있고, 메모리도 1GB 정도 밖에 남아 있지 않다. 그 중에서도 mysqld가 최 상위에 있다. 이건 mysql 쿼리 실행으로 시스템에 부하를 주고 있다는 반증이라 생각된다.

htop

MySQL Slow Query 실행 여부

현재 이 서버는 MariaDB 10.1.34를 이용하고 있다. MariaDB는 MySQL 호황되고 심지어 my.conf 파일의 설정이 매우 유사하다. Slow Query 설정은 두 DB 모두 동일하다. 그래서 급하게나마 아래와 같이 설정하고 데이터베이스를 재실행했다.

slow_query_log          = 1
slow_query_log_file     = /var/log/mysql/mariadb-slow.log
long_query_time = 5

그리고 아래와 같은 Slow Query 로그를 확인할 수 있었다.

# User@Host: gced[gced] @ localhost []
# Thread_id: 2348  Schema: gcedclearinghouse_org  QC_hit: No
# Query_time: 32.410811  Lock_time: 0.000109  Rows_sent: 9267660  Rows_examined: 9267660
# Rows_affected: 0
SET timestamp=1663959260;
SELECT t.*
FROM
`search_api_task` t
WHERE  (t.type IN  ('addIndex', 'fieldsUpdated', 'removeIndex', 'deleteItems')) AND (t.server_id = 'inner_solr')
ORDER BY t.id ASC;

의심 원인 확인

위 내용을 보면 쿼리 실행에 걸린 시간이 32초, 평가 대상 레코드 9,267,660건, 전송 레코드 역시 동일한 수로 표시된다. 확인해보니 아래와 같이 search_api_task 테이블에 비정상 데이터가 이렇게나 많이 쌓여 있는 것이다. 아래의 내용은 운영서버의 것은 아니지만 이런 식으로 쌓여 있었다. 운영서버는 이것 보다 엄청 심하다.

mysql> select * from search_api_task limit 10;
+--------+-----------+-------------+--------------------------+------------------------+
| id     | server_id | type        | index_id                 | data                   |
+--------+-----------+-------------+--------------------------+------------------------+
| 532555 | solr      | deleteItems | files_for_download_index | a:1:{i:0;s:5:"11705";} |
| 532556 | solr      | deleteItems | products_index           | a:1:{i:0;s:5:"11673";} |
| 532557 | solr      | deleteItems | files_for_download_index | a:1:{i:0;s:5:"11673";} |
| 532558 | solr      | deleteItems | products_index           | a:1:{i:0;s:5:"11706";} |
| 532559 | solr      | deleteItems | files_for_download_index | a:1:{i:0;s:5:"11706";} |
| 532560 | solr      | deleteItems | products_index           | a:1:{i:0;s:5:"11707";} |
| 532561 | solr      | deleteItems | files_for_download_index | a:1:{i:0;s:5:"11707";} |
| 532562 | solr      | deleteItems | products_index           | a:1:{i:0;s:5:"11708";} |
| 532563 | solr      | deleteItems | files_for_download_index | a:1:{i:0;s:5:"11708";} |
| 532564 | solr      | deleteItems | products_index           | a:1:{i:0;s:5:"11709";} |
+--------+-----------+-------------+--------------------------+------------------------+

이 테이블은 Drupal 기여 모듈인 Search Api 모듈의 검색엔진을 위한 색인작업(일괄처리) 정보를 저장하고 있는 것으로 작업이 끝난 경우 해당 작업정보가 삭제되어야 마땅하지만 그대로 남아 쌓이고 있었던 것이다. 이 모듈의 오류로 생각하고 인터넷을 검색해보니 역시 그렇다.

인터넷 검색

인터넷을 검색해보니 아래의 페이지에 나와 동일한 사례가 나왔다. 이 페이지의 내용을 보면 Search Api 모듈의 오류로 확신하며, 색인 작업 실페로 인해 작업은 중단되고 끝나지 않은 작업정보는 위와 같이 남게 된 것이다. 이렇게 쌓아고 쌓여 시스템에 엄청난 성능 저하를 주고 있었는데, 지금까지 모르고 있었다. Drupal은 원래 좀 무거워서 그런 것이겠거니 생각했다.

https://www.drupal.org/project/search_api/issues/2408727

해결

위에서는 임시 방편으로 해결을 했다고 했는데, 사실 이 방법 밖에 없는 것은 아닌가 하는 생각을 위 사이트 내용을 보고 하게 되었다. 작업이 끝나면 더이상 데이터베이스에 저장된 작업정보는 필요가 없다. 그러므로 문제가 되는 비정상 작업정보를 삭제해도 데이터 무결성에는 영향을 주지 않을 것이다. 모듈의 버그 수정이 가장 최선이겠지만 운영서버를 가지고 수정과 테스트 작업을 하기에는 무리가 있다. 그래서 주기적으로 해당 정보를 지우는 Cron 작업을 하도록 해야겠다.

오늘은 아래와 같이 테이블 데이터 초기화하는 것으로 해결하고 마무리한다.

MariaDB [(none)]> truncate table search_api_task;