shellingford330 / isucon-kit Goto Github PK

View Code? Open in Web Editor NEW

2.0 2.0 0.0 16.37 MB

Kit for ISUCON

Shell 35.98% Makefile 64.02%

isucon-kit's People

Contributors

Stargazers

Watchers

isucon-kit's Issues

mysqldumpslow を Analyze 対象から外す

pt-query-digest だけで事足りる
analyze のパフォーマンスが遅くなる

アクセスログ解析

手順

/etc/nginx/nginx.confファイルでlog_formatをalpが解析できるようなformatを指定

http {
    log_format json escape=json '{"time":"$time_local",'
                                '"host":"$remote_addr",'
                                '"forwardedfor":"$http_x_forwarded_for",'
                                '"req":"$request",'
                                '"status":"$status",'
                                '"method":"$request_method",'
                                '"uri":"$request_uri",'
                                '"body_bytes":$body_bytes_sent,'
                                '"referer":"$http_referer",'
                                '"ua":"$http_user_agent",'
                                '"request_time":$request_time,'
                                '"cache":"$upstream_http_x_cache",'
                                '"runtime":"$upstream_http_x_runtime",'
                                '"response_time":"$upstream_response_time",'
                                '"vhost":"$host"}';

    access_log /var/log/nginx/access.log json
}

configが正しいかチェック

$ nginx -t

nginxを再起動

$ nginx -s reload 
// or
$ systemctl reload nginx

Wiki に対応策を記述する

プリペアドステートメント

クライアントから、まず変数を埋め込み可能な形のSQLを発行し、データベース側でそれを解析しキャッシュしておく。
そして、クライアントから変数のみを送ってSQLを実行する。同じSQLを何度も発行する場合、実行計画をキャッシュが効率があがり、SQLインジェクションも防ぐ。
しかし、Webアプリケーションでは発行するクエリの種類が多く、キャッシュが効率よく利用されない。

db, err := sql.Open("mysql", "isucon:@tcp(127.0.0.1:3306)/isuconp?interpolateParams=true")

スロークエリログとアクセスログ解析をPRにコメントする

issue-commentイベントをトリガーにして、ログ解析を行う
解析結果をPRにコメントする
Analyze scriptを作成

スロークエリログ解析

手順

スロークエリログの設定を追加

/etc/mysql/my.cnfに以下の設定を追加

[mysqld]
slow_query_log=1
slow_query_log_file=/var/log/mysql/mysql-slow.log
long_query_time=0
log_queries_not_using_indexes=1

mysqlを再起動

$ systemctl restart mysql

スロークエリログ解析

$ mysqldumpslow /var/log/mysql/mysql-slow.log

静的ファイル配信

ファイルが存在しない場合、サーバーへリバースプロキシする

location /image/ {
  root /home/isucon/private_isu/webapp/public/;
  expires 1d;
  try_files $uri @app;
}

location @app {
  internal;
  proxy_pass http://localhost:8080;
}

静的ファイルを配信

location ~ /(favicon\.ico|css/|js/|img/) {
    root /home/isucon/private_isu/webapp/public/;
    expires 1d;
}

ダッシュボード作りたい

あったら便利
pprof, alpやslow query出してる
1位の人達が作っているのが参考になる

PR 作成時に Origin の main ブランチのコードを自動 Rebase する

Summary

PR 作成時に Origin の main ブランチのコードを自動 Rebase してくれる GitHub Actions を作成

Ref

https://github.com/orgs/community/discussions/26560#discussioncomment-3531273

rootユーザでなくてもスクリプトが動くようにする

isuconユーザでも動くようにする
- rootユーザのhome dirに.ssh/authorized_keyをcopyする手間が面倒

CD でアプリケーションのビルドもする

PR にコメントする Action を github-script に変更

Ref

https://github.com/actions/github-script

GAでCI/CDをできるようにする

PRを作成、PushしたらDeployが走るようにする
- rsyncでファイルを同期
mainの最新をrebaseしていない場合、CIが落ちるようにする

アプリケーションコードのデプロイを Isucon ユーザーに変更

現状は root ユーザーでデプロイしてる
しかし、アプリケーションの実行ユーザーは Isucon であるため
ファイルの Read / Write で権限が発生しうる