VPCのサブネットを抽出して、きれいに並べたい

tl;dr

aws ec2 describe-subnets --filter Name=vpc-id,Values=vpc-123456  \
  --query "Subnets[*].[CidrBlock,(Tags[?Key=='Name'].Value)[0]]" \
  --output text | sort -V

10.0.0.0/22     public-subnet-ap-northeast-1a
10.0.4.0/22     public-subnet-ap-northeast-1c
10.0.8.0/22     public-subnet-ap-northeast-1d
10.0.12.0/22    private-subnet-ap-northeast-1a
10.0.16.0/22    private-subnet-ap-northeast-1c
10.0.20.0/22    private-subnet-ap-northeast-1d

aws ec2 describe-subnets

タグを取り出すのがちょっとだるい

{
  "Subnets": [
    {
      "AvailabilityZone": "ap-northeast-1d",
      "AvailabilityZoneId": "apne1-az2",
      "AvailableIpAddressCount": 1019,
      "CidrBlock": "10.0.20.0/22",
      "State": "available",
      "SubnetId": "subnet-...",
      "VpcId": "vpc-....",
      "Tags": [
        {
          "Key": "Name",
          "Value": "private-subnet-ap-northeast-1d"
        }
      ],
    },
   ...

今回は指定したVPC内のサブネットと、その名前を取り出したかったので、CidrBlockと、Tags の中の Key が Name である要素をフィルタしてきて、これは1つなので (正確には1つかゼロ)、リストの先頭をとってくる。

--query "Subnets[*].[CidrBlock,(Tags[?Key=='Name'].Value)[0]]"

sort -V

queryの中で sort_by を使ってソートも (きっと) できるけれど、さすがに辛いので、sort を使う。

-V は natural sort of (version) numbers within text ということで、ドットで区切られたバージョン番号をソートするオプションで、バージョン番号ではないけれど、ドットの後の数字で並べてくれるので、これでIPアドレス順に並んでくれる。

fishでAWS Organizations配下のアカウントに同じコマンドを投げるスクリプト

環境調査のためにOrganization配下のAWSアカウントすべてにコマンド実行したいということがあったりする。fishを使っているので、関数を作って使っているのでメモ。

~/.config/fish/functions/ 配下に maws.fish としてつくる

function maws
  set accounts (aws organizations list-accounts --query 'Accounts[].Id' --output text | string match -ra '\d+')
  echo "call aws command in these accounts: $accounts"

  for account in $accounts
    echo "[$account]"

    set assumerole (aws sts assume-role --role-arn arn:aws:iam::$account:role/OrganizationAccountAccessRole --role-session-name (whoami))

    if test $status -eq 0
      set -x AWS_ACCESS_KEY_ID (echo $assumerole | jq -r '.Credentials.AccessKeyId')
      set -x AWS_SECRET_ACCESS_KEY (echo $assumerole | jq -r '.Credentials.SecretAccessKey')
      set -x AWS_SESSION_TOKEN (echo $assumerole | jq -r '.Credentials.SessionToken')

      aws $argv
    end

    echo ""

    set -e AWS_ACCESS_KEY_ID
    set -e AWS_SECRET_ACCESS_KEY
    set -e AWS_SESSION_TOKEN
  end

end

一旦、 ふつうのaws cliで

aws ec2 describe-vpcs --query Vpcs[].[OwnerId,VpcId,CidrBlock] --output text

といった感じで単一アカウントで確認してOKだったら

maws ec2 describe-vpcs --query Vpcs[].[OwnerId,VpcId,CidrBlock] --output text

とするだけ。

動作の補足

環境変数に認証情報が存在すると、優先順位として強いので、Organizationの親アカウントの認証情報をもって実行し、Assume Roleして、環境変数をセット、削除するという流れ

jq 使ったら負けだよなと思いつつ、手抜き。

USB-C to SATA変換ケーブルが便利

早いストレージをそこそこ用意するとき、裸のSSDを使うことがあります。また、ポータブルHDDを壊れて、バラして中の2.5インチハードディスクを使うと普通に使えるといったことも割りとあり、そういった場合、従来はUSB3.0のSATA変換ケーブルを利用していました。

USB3.0のSATA変換ケーブルの問題点

USB端子1つから取れる電流では、特にハードディスクは稼働しないため、

• データ用のUSB端子と別に電源用のUSB端子を接続する
• 別にACアダプタがつく

といった製品が多かったです。ACアダプタは邪魔だし、かといって、USB2つは二股みたいなケーブルで、場所によっては延長ケーブルを噛ましてつなぐということをしてました。

USB-C 対応が出た

USB-Cになると、電源を1つで取れるため、最高にスッキリしました。 また、ケーブルが絡まって外れちゃったりといったことがなく最高です。

Plugable USB 3.1 Gen 2 Type-C - SATA 変換ケーブル

USB-Cの恩恵を最大限に受け、スマートにSSDをストレージとして使えます。 今のところ自分の中でベストUSB-Cケーブルです

Final Cut Pro X での ProMSRendererTool エラー 10008 の対処

Final Cut Pro X で編集した動画を Compressor でエクスポートすると、エラーが出て失敗する場合がある。

失敗しました: ホスト [foobar] ビデオのレンダリングエラー：10008（ProMSRendererTool エラー 10008：renderVideoFrame に失敗しました）

このエラーについて、AppleのサイトにもCompressorのヘルプにも説明が無いので、ぐぐってみるものの日本語で言及しているページはなかったので調べる方法をメモしておきます。

何が起きているのか

ビデオのデータに問題があり該当のフレームが壊れて表示できていない

どうすればよいのか

該当のビデオデータの壊れているフレームを除去する

エラー発生位置の確認

エラー文にはエラーが起きただけしか表示されずどこに問題があるのか分からない。1フレームだけだったりするので、絶望的に分からない。 これについては、システムログに位置が書かれている。

/var/log/system.log を ProMSRendererTool と 10008 で grep すると、以下のようにエラーの位置が記録されている。

$ grep ProMSRendererTool /var/log/system.log | grep 10008
Sep 23 01:50:11 iogi-mbp ProMSRendererTool[69516]: An error was generated when rendering the frame: （エラー 10008f, 00:31:13;04 <<（エラー -12909c, apple (fcp1).mov @ 00:44:33;27）>>）
Sep 23 19:24:04 iogi-mbp ProMSRendererTool[76790]: An error was generated when rendering the frame: （エラー 10008f, 00:26:34;26 <<（エラー -12909c, banana (fcp2).mov @ 00:29:33 ;08）>>）
Sep 23 19:24:09 iogi-mbp ProMSRendererTool[76690]: An error was generated when rendering the frame: （エラー 10008f, 00:29:39;16 <<（エラー -12909c, cherry (fcp2).mov @ 00:35:00;15）>>）

古いログファイルはローテートされて、圧縮、削除される。圧縮されているログも検索する場合は

zgrep ProMSRendererTool /var/log/system.log* | grep 10008

で探す。

1つのエラーに2つの時刻が記録されているが、前者がレンダー時の位置、後者が元データでの位置 (だと思う) エラーが出たクリップの該当のタイミングを確認すると、そのタイミングから数フレーム破損したフレームがあるので、ここを音声含めカットして再度エンコードをすると成功した。 1〜2フレームだったので音声にも違和感が無いので自分は音声含めてカットしたが、もっと多いフレームである場合は、正常なフレームの映像をコピーする等でもOK。

Final Cut Pro Xガイドブック[第3版]

AWS CLIのS3接続先の選択動作とaddressing_styleオプション

AWS CLI がS3にアクセスする際にどのように Path-Style と Virtual Hosted-Style を使い分けるかをまとめます。