s3に格納している大量のファイルを別のパスに移す必要があり、
Webコンソールでディレクトリのカット＆ペーストでやろうとしたのですが、
途中で何度やり直してもエラーになってしまい、困ってしまいました。
しょうがないからs3cmdを用いて１ファイルずつ移動したので、後々のためにコマンドをメモ。
for i in `s3cmd ls s3://バケット名/元ファイルがあるディレクトリパス/ | awk '{ print $4 }'`; do s3cmd mv $i s3://バケット名/移動先のディレクトリパス/ ; done
実行後に、そういえば s3cmd でディレクトリのカット＆ペーストって出来ないのかな…
って思いましたが、特に試してません（笑）
おしまい。
若干の今更感がありますが、とある出来事をきっかけに AWS CloudWatch APIを用いて、
zabbixに利用料金を登録するようにしたのでメモ。
AWS上に構築しているとあるシステムがあるのですが、運用がある程度落ち着いてきているため、
利用料金は月末にざっくり確認するくらいしかやってませんでした。
ある日、何気なく利用料金を確認してみると、なぜか普段よりも $200 くらい高い…。
これはと思いもろもろ確認してみると…
∑(ﾟДﾟ)ｶﾞｰﾝ
検証用に立てた RDS インスタンスが上げっぱなしだった…しかも2台。。
今まで結構お金を気にして運用していたため、$200 とはいえガックリ…。
そこで、そういえばこんな↓記事を以前見たことを思い出し、
【AWS発表】 AWSクラウドの利用料金を監視・通知できるように from Amazon Web Services ブログ
このあたり↓のブログを参考にさせて頂き、zabbix に利用料金を登録してみました。
AWS SDK for Rubyを使ってAWSの課金額を取得する from cohakim's blog
CloudWatch API + ZabbixでAWS課金情報をグラフ化 from Tech-Sketch
Zabbix Senderで複数の値を一括登録 from ike-daiの日記
まず初めに、課金情報を CloudWatch から取得可能にするには、一つ事務的なステップを踏む必要があります。
AWS Account Activity にアクセスします。
既に自分は設定してしまっているので画像が異なるのですが、
この↓赤枠のあたりをクリックして遷移していくと、15分程度経つとCloudWatchから
確認出来るようになります。
AWS SDK for Ruby を使いました。
Zabbix に登録する部分は自分で書く自信が無かったので、zabbix_senderコマンドを使っています。
その形式に合わせるために、文字列をガチャガチャしていますが…。
ちなみに start time を４時間前にしているのは、これは１時間とかだと取得に
失敗するパターンがあり、ある程度安定して取れたのが４時間だった、というのが理由です。
これを実行すると、下記のような形で AWS Billing の値をまるっと取ってきます。
hoge-server AmazonEC2 1369563780 497.7 hoge-server AmazonRoute53 1369563780 0.54 hoge-server AmazonRDS 1369563780 132.89 hoge-server AWSDataTransfer 1369563780 4.43 hoge-server AmazonSNS 1369563780 0.0 hoge-server AmazonS3 1369563780 1.45 hoge-server USD 1369563780 637.0
ただし、これだけでは、zabbix にデータは登録されません。 先に zabbix 側でアイテムを作っておく必要があります。
これは、それぞれ下記のように普通に登録します。
これで、データを蓄積する準備は出来たので、とりあえずcronに登録して定期実行します。
# send aws-billing-data to zabbix 0 * * * * cd /etc/zabbix/externalscripts; /usr/local/bin/ruby /etc/zabbix/externalscripts/get_aws_billing.rb
↑変な書き方をしているのですが、普通に登録しただけではどうも動かなくて、
この書き方であれば動いたので、そのままにしています。
データが取れたら可視化、ということで下記のようにサービス毎に積み上げグラフにしてみました。
これだけだと全体金額が若干分かりづらいので、そちらは折れ線で。
おーやはりグラフになるといいですね。
グラフ自体は直近二週間ならCloudwatchでも見れますが、もっと蓄積したい場合はこの方法は良さそうです。
ただ、このきっかけとなったインスタンスの上げっぱなしを防止するにはこれだけだと
ちょっとイマイチ…毎日確認する必要があります。
日々のだいたいの増加量を算出して、それ以上の増加量を検知したらアラート、
とかすれば良さそうですが、それはまた別で…
おしまい。
s3cmd を使って、Jenkinsのジョブをs3に週次でバックアップしてるのですが、 ある時から、
$ s3cmd -f put /tmp/jenkins_bk.tar.gz s3://hogehoge/
/tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [1 of 1]
7725056 of 5660650889 0% in 1s 7.02 MB/s failed
WARNING: Upload failed: /jenkins_bk.tar.gz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.00)
WARNING: Waiting 3 sec...
とか出て、アップロード出来なくなりました。その際の対処法のメモです。
色々調べてみたところ、どうもS3にはアップロードファイルサイズ制限（5GB）があるとのこと。
(公式のソースはちょっと見つけられませんでしたが…。)
確認すると、確かにバックアップファイルの容量が、5GB を超えてました。
$ ls -l -rw-rw-r-- 1 jenkins jenkins 5660650889 4月 23 09:40 jenkins_bk.tar.gz
じゃあどうすればいいのってことになるのですが、かなり前の記事に記載がありました。
【AWS発表】 Amazon S3において大容量ファイルを分割アップロード可能にするマルチパートアップロード機能(Multipart Upload)の発表
ということらしいです。
小さいファイルに分割すればいいよ、と。
それなら Multipart Upload オプションみたいなのを s3cmd で使用すればいいのか、
となるのですが、どうもパッケージでリリースされているものはそれに未対応とのこと。
ですが、beta版で対応しているらしいので、そちらを入れます。
公式ページにアクセスして、Download here をクリック。
α版のダウンロードページに行きますが、ちょっと不安なので Parent folder をクリックして、
1.1.0-beta2 をダウンロード
Problem: KeyError: 'elapsed' S3cmd: 1.1.0-beta3とかなって、この問題に当たるので、1.5.0-alpha3 を使用しました。
あとは下記のようにインストール。
~$ tar zxvf s3cmd-1.1.0-beta3.tar.gz ~$ cd s3cmd-1.1.0-beta3/ ~/s3cmd-1.1.0-beta3$ ls -l 合計 144 -rw-r--r-- 1 hoge hoge 2707 8月 2 2011 INSTALL -rw-r--r-- 1 hoge hoge 7651 1月 12 2012 NEWS -rw-r--r-- 1 hoge hoge 661 1月 12 2012 PKG-INFO -rw-r--r-- 1 hoge hoge 13130 8月 2 2011 README drwxr-xr-x 2 hoge hoge 4096 1月 12 2012 S3 -rwxr-xr-x 1 hoge hoge 83178 1月 12 2012 s3cmd -rw-r--r-- 1 hoge hoge 13655 1月 12 2012 s3cmd.1 -rw-r--r-- 1 hoge hoge 28 8月 2 2011 setup.cfg -rw-r--r-- 1 hoge hoge 2399 1月 2 2012 setup.py ~/s3cmd-1.1.0-beta3$ sudo python setup.py install ~/s3cmd-1.1.0-beta3$ s3cmd --version s3cmd version 1.1.0-beta3
で、設定ファイル作成。
~$ s3cmd --configure Enter new values or accept defaults in brackets with Enter. Refer to user manual for detailed description of all options. Access key and Secret key are your identifiers for Amazon S3 Access Key: YOUR_ACCESS_KEY Secret Key: YOUR_SECRET_KEY Encryption password is used to protect your files from reading by unauthorized persons while in transfer to S3 Encryption password: YOUR_PASSWORD Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol all communication with Amazon S3 servers is protected from 3rd party eavesdropping. This method is slower than plain HTTP and can't be used if you're behind a proxy Use HTTPS protocol [No]: Yes New settings: Access Key: YOUR_ACCESS_KEY Secret Key: YOUR_SECRET_KEY Encryption password: YOUR_PASSWORD Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0 Test access with supplied credentials? [Y/n] n Save settings? [y/N] y Configuration saved to '/var/lib/jenkins/.s3cfg'
出来たファイルはこちら
~/.s3cfg
[default] access_key = YOUR_ACCESS_KEY bucket_location = US cloudfront_host = cloudfront.amazonaws.com default_mime_type = binary/octet-stream delete_removed = False dry_run = False enable_multipart = True encoding = UTF-8 encrypt = False follow_symlinks = False force = False get_continue = False gpg_command = /usr/bin/gpg gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s gpg_passphrase = YOUR_PASSPHRASE guess_mime_type = True host_base = s3.amazonaws.com host_bucket = %(bucket)s.s3.amazonaws.com human_readable_sizes = False invalidate_on_cf = False list_md5 = False log_target_prefix = mime_type = multipart_chunk_size_mb = 1024 preserve_attrs = True progress_meter = True proxy_host = proxy_port = 0 recursive = False recv_chunk = 4096 reduced_redundancy = False secret_key = YOUR_SECRET_KEY send_chunk = 4096 simpledb_host = sdb.amazonaws.com skip_existing = False socket_timeout = 300 urlencoding_mode = normal use_https = True verbosity = WARNING website_endpoint = http://%(bucket)s.s3-website-%(location)s.amazonaws.com/ website_error = website_index = index.html
enable_multipart = True の項目を確認しました。
これでOKなのですが、デフォルトだと、
multipart_chunk_size_mb = 15
となっていて、15MBずつファイルをアップロードすることになるので、
ケチケチせず 1024 とかに変えておきます。
これでようやく当初アップロードしたかったファイルをアップロード出来ます。
よーし…
~$ s3cmd -f put /tmp/jenkins_bk.tar.gz s3://hogehoge/ WARNING: Module python-magic is not available. Guessing MIME types based on file extensions. /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 1 of 6, 1024MB] 1073741824 of 1073741824 100% in 116s 8.78 MB/s done /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 2 of 6, 1024MB] 1073741824 of 1073741824 100% in 133s 7.67 MB/s done /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 3 of 6, 1024MB] 1073741824 of 1073741824 100% in 240s 4.26 MB/s done /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 4 of 6, 1024MB] 1073741824 of 1073741824 100% in 123s 8.29 MB/s done /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 5 of 6, 1024MB] 1073741824 of 1073741824 100% in 239s 4.28 MB/s done /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [part 6 of 6, 316MB] 331925477 of 331925477 100% in 38s 8.18 MB/s done
おー出来ました。良かった良かった。
おしまい。
今まで使おう使おうと思いつつ、さほどPVがあるサイトの運営をする機会がなかったため、
やってなかったcloudfrontを満を持して設定してみました。
（とりあえず入れとけ的な話もよく聞きますし…）
今回は、railsのassetsをS3に置いて、cloudfrontから配信するようにしました。
結果、噂通りすごく簡単に導入できたのですが、調査に割りと時間がかかったのでメモしておきます。
Herokuのドキュメントを取っ掛かりにしました。
概要は以下です。
これだけ、すごく簡単でした。
まずは、S3のバケット作成。 これはcloudfrontを使う方には、特に説明不要と思うので省略。
次に、cloudfrontのdistribution設定。 こちらも、 公式ドキュメントを見ればOKかと思います
で、メインのrailsの設定です。
・Gemfileに、gem "asset_sync"を追加
これはそのままです。bundle install すればOK。
・config/initializersに、asset_sync.rb を作成。
https://github.com/rumblelabs/asset_sync のReadmeを参考に設定。（ymlで設定する例の記載もあります）
まずはrailsコマンドで設定ファイルのテンプレートを作成。
環境変数を使用することで作らなくても使用出来るようですが、個人的に設定ファイルが
あったほうが安心するタイプなので、今回は作りました。
$ rails g asset_sync:install --provider=AWS
下記のような形で自分好みに設定。
・config/environments/production.rbに、asset_host を設定
以下の通り。
# Enable serving of images, stylesheets, and JavaScripts from an asset server config.action_controller.asset_host = "//YOUR_CLOUDFRONT_ENDPOINT"
'//' から始まっているのが変な感じがしますが、こうしておくとアクセスされたプロトコル
(HTTPなら http://YOUR_CLOUDFRONT_ENDPOINT、 HTTPSなら https://YOUR_CLOUDFRONT_ENDPOINT)
でcloudfrontにもリクエストするとのこと。
asset_syncの準備が出来たので、
bundle exec rake assets:precompile RAILS_ENV=production とかやると…
AssetSync: using config/initializers/asset_sync.rb AssetSync: Syncing. Uploading: assets/application-55f294e47fb7ed0b383b882262f9820d.js.gz Uploading: assets/application-55f294e47fb7ed0b383b882262f9820d.js AssetSync: Done.
という感じでS3にアップロードされるので、あとはCloudfrontがよしなにキャッシュしてくれます。
最後に、Rails を起動してアクセスすれば、cloudfrontからassetsを取得してることが分かると思います。
以上です。 思ってたよりもすごく簡単に出来ました。
キャッシュというとexpireをどうするか的な問題がもれなくついてくると思いますが、
railsはデフォルトで、ファイル名にハッシュをつけてくれるので問題ないようです。
ハッシュ値自体もファイルの中身から算出するとのことなので、stagingとかproductionとか
いくつか環境があっても共有できます。嬉しい。
また、assets_sync自体も既にS3にあるファイルはアップロードしないので、
余計な時間がかかることもありません。嬉しい。
AWS と rails という巨人と、その他素晴らしい先人達の肩にしがみつくと、自分もなんとか生きていける気がしました。
おしまい。
↓参考になります。
久々にSESの設定をしたので、ちゃんと出来たかメール送信テストをしてみようと思った時に、以前作ったスクリプトが出て来ました。
…それだけですm(__)m
おしまい。
CDPの実装ガイド買いました。自己学習はもちろん、誰かにAWSの操作方法から説明する時にもいいかもです。
最近はもっぱらAWSでのサーバ運用ばかりしています。
で、AWS EC2を使ってる際にどうしようかなぁと思うことの一つに、IPが固定されない、
ということがあると思います。
EIPなりVPCなり使えばIPの固定自体は出来ますが、いちいち固定IP付けるの面倒だし…という時とか。
今回はアプリケーションをデプロイする時にそれを感じました。
capistranoを用いたデプロイ時にデプロイ先のサーバのアドレスを指定しますが、
ELBにぶら下がるインスタンスに固定IP付けてないんだよなぁ、というケースです。
そこで aws-sdk for ruby を使って、ELB配下のインスタンスを取得するように設定してみました。
今回はVPC内のインスタンスを対象にしてたので、通常のEC2インスタンスであれば、 instance.private_ip_address を instance.dns_name にすればいいと思います。
実行結果は以下です。
$ bundle exec cap test_web
triggering start callbacks for `test_web'
* 2013-02-27 08:46:42 08:46:42 == Currently executing `test_web'
* executing "echo 'Hi!'"
servers: ["10.0.102.11", "10.0.101.11"]
[10.0.102.11] executing command
** [out :: 10.0.102.11] Hi!
[10.0.101.11] executing command
** [out :: 10.0.101.11] Hi!
command finished in 4000ms
$ bundle exec cap test_app
triggering start callbacks for `test_app'
* 2013-02-27 08:46:56 08:46:56 == Currently executing `test_app'
* executing "echo 'Hi!'"
servers: ["10.0.102.11", "10.0.101.11"]
[10.0.101.11] executing command
** [out :: 10.0.101.11] Hi!
[10.0.102.11] executing command
** [out :: 10.0.102.11] Hi!
command finished in 945ms
$ bundle exec cap test_db
triggering start callbacks for `test_db'
* 2013-02-27 08:47:04 08:47:04 == Currently executing `test_db'
* executing "echo 'Hi!'"
servers: ["10.0.102.11"]
[10.0.102.11] executing command
** [out :: 10.0.102.11] Hi!
command finished in 1019ms
おぉ、出来た。ちゃんとdb roleの時は１つのインスタンス宛になってます。
もっと色々活用するためにruby勉強せねば…。
おしまい。
まだ途中までしか読んでないですが、この本結構分かりやすいです。オライリーならPDFもありますし。
※2013/5/9追記 フォントの指定場所が一箇所漏れていたので追記しましたm(__)m
OS : Amazon Linux AMI release 2011.09 x86/64 Zabbix : 1.8.10
>>> import boto.ec2
>>>
>>> ec2_conn = boto.ec2.connect_to_region('ap-northeast-1')
>>>
>>> ec2_conn
EC2Connection:ec2.ap-northeast-1.amazonaws.com
>>>
>>> rsv = ec2_conn.run_instances('ami-2e0ca72f', instance_type='t1.micro')
>>>
>>> rsv
Reservation:r-845a0e85
>>>
>>> rsv.instances
[Instance:i-44095645]
>>>
>>> instance = rsv.instances[0]
>>>
>>> instance
Instance:i-44095645
>>>
>>> print instance.region
RegionInfo:ap-northeast-1
>>>
>>> print instance.placement
ap-northeast-1a
>>>
[Credentials]
aws_access_key_id = {ACCESS KEY ID}
aws_secret_access_key = {SECRET ACCESS KEY}
※{}はいらない。@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that the RSA host key has just been changed. The fingerprint for the RSA key sent by the remote host is **:**:**:**:**:**:**:**:0e:1a:7f:7f:0a:74:e0:ca. Please contact your system administrator. Add correct host key in /home/ec2-user/.ssh/known_hosts to get rid of this message. Offending key in /home/ec2-user/.ssh/known_hosts:9 RSA host key for ec2-**-**-***-***.ap-northeast-1.compute.amazonaws.com has changed and you have requested strict checking. Host key verification failed.
mysql> SET GLOBAL time_zone = '+9:00';
ERROR 1227 (42000): Access denied; you need the SUPER privilege for this operation
mysql> set time_zone = '+9:00';
Query OK, 0 rows affected (0.00 sec)
mysql> show databases;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
Connection id: 19
Current database: *** NONE ***
ERROR 2013 (HY000): Lost connection to MySQL server during query
/**
* Stores your AWS account information. Add your account information, and then rename this file
* to 'config.inc.php'.
*
* @version 2011.01.20
* @license See the included NOTICE.md file for more information.
* @copyright See the included NOTICE.md file for more information.
* @link http://aws.amazon.com/php/ PHP Developer Center
* @link http://aws.amazon.com/security-credentials AWS Security Credentials
*/
/**
* Amazon Web Services Key. Found in the AWS Security Credentials. You can also pass this value as the first
* parameter to a service constructor.
*/
define('AWS_KEY', '[アクセスキー ID]');
/**
* Amazon Web Services Secret Key. Found in the AWS Security Credentials. You can also pass this value as
* the second parameter to a service constructor.
*/
define('AWS_SECRET_KEY', '[シークレットアクセスキー]');
/**
* Amazon Account ID without dashes. Used for identification with Amazon EC2. Found in the AWS Security
* Credentials.
*/
define('AWS_ACCOUNT_ID', '[AWS アカウント ID]');
/**
* Your CanonicalUser ID. Used for setting access control settings in AmazonS3. Found in the AWS Security
* Credentials.
*/
define('AWS_CANONICAL_ID', '[標準ユーザーID]');
/**
* Your CanonicalUser DisplayName. Used for setting access control settings in AmazonS3. Found in the AWS
* Security Credentials (i.e. "Welcome, AWS_CANONICAL_NAME").
*/
define('AWS_CANONICAL_NAME', '[登録名]'); ※右上の、「ようこそ ～」の部分※以下は使ってないので未記入。
/**
* 12-digit serial number taken from the Gemalto device used for Multi-Factor Authentication. Ignore this
* if you're not using MFA.
*/
define('AWS_MFA_SERIAL', '');
/**
* Amazon CloudFront key-pair to use for signing private URLs. Found in the AWS Security Credentials. This
* can be set programmatically with .
*/
define('AWS_CLOUDFRONT_KEYPAIR_ID', '');
/**
* The contents of the *.pem private key that matches with the CloudFront key-pair ID. Found in the AWS
* Security Credentials. This can be set programmatically with .
*/
define('AWS_CLOUDFRONT_PRIVATE_KEY_PEM', '');
/**
* Set the value to true to enable autoloading for classes not prefixed with "Amazon" or "CF". If enabled,
* load `sdk.class.php` last to avoid clobbering any other autoloaders.
*/
define('AWS_ENABLE_EXTENSIONS', 'false');