読者です 読者をやめる 読者になる 読者になる

grepの-oオプションと-Pオプションの組み合わせが便利

シェル芸

上記のようにgrepコマンドを叩いていたら「-oPってオプションなに?」と言われたので。

grep -oPって?

-oオプションとは

--only-matchingの略。マッチした部分のみを抽出するというオプションのこと。

$ echo "123abc456dfg" | grep -o [a-z]
a
b
c
d
f
g

-Pオプションとは

マッチさせる文字列にPerlで使われているものと同じ正規表現(Perl正規表現)をつかえるようにする。PerlのP。

普通の正規表現Perl正規表現の違いって?

主に以下の3つ。

  • 一部のメタ文字が使える [参考]
    • \d、\D、\w、\W、などなど
  • 最長一致、最短一致 [参考]
    • A+ だけじゃなく A+?
  • 先読み、後読み [参考]

これらの特徴はPerl正規表現のみであり、 拡張正規表現オプション(-E)をつけたとしても 使うことはできない。

つまり-oPとすれば

Perl正規表現でマッチした部分のみを抽出できる

$ echo "123abc456dfg" | grep -oP '\d'
1
2
3
4
5
6

どんな時に使える?

grepだけでテキストの「行の抽出」と「切り出し」が同時に行える。

具体例

たとえばこんなexample.xmlという名前のXMLファイルがあったとする。こいつからname要素内のテキスト、それも鍵カッコがついているもののみで、かつ(「」)で囲まれている中身だけを取り出したい。



  
    「Cure Lovely」
  
  
    「Cure Princess」
  
  
    「Cure Honey」
  
  
    「Cure Fortune」
  
  
    Cure Gorilla
  

"Cure Gorilla"以外の下のような出力を得たい。さあ、どうする?

Cure Lovely
Cure Princess
Cure Honey
Cure Fortune
  • 安直に思いつく方法。
$ cat example.xml |
  grep '「' |
  sed 's/.*「//' |
  sed 's/」.*//g'
  • XMLだからと言ってxpathを使うと逆に手間がかかる。
$ cat example.xml |
  xmllint --xpath '//name[contains(./text(),"「")]/text()' - |
  nkf --numchar-input |
  sed -r 's/(「|」)/\n/g'
$ cat example.xml |
  awk -F'[「」]' 'NF>2{print $2}'
$ cat example.xml |
  sed -nr '/「/{s/.*「//g;s/」.*//gp}'

実はgrepだけでいける

$ cat example.xml |
  grep -oP '(?<=「).+(?=」)'

しくみ

Perl正規表現の「先読み・後読み」のパターンで文字列をマッチさせたとしても、 (?~)の中の文字列に関しては、grepの出力時にはマッチした文字列としてみなされない。試しに--colorオプションをつけても、「先読み・後読み」でマッチした部分は色は変化しない。

  • grep -oP '(?<=).+(?=)'
    • 先読みのマッチ部分
    • grepでマッチしたとみなされる部分
    • 後読みのマッチ部分

おそらくUNIXコマンド類の初学段階だと、awksedは文字列の「切り出し」、grepは「行の抽出」に使えるという認識になると思う。そして、学んでいくにつれてawksedもまた、「切り出し」のみならず「行の抽出」も同時にできるということがわかってくる。

しかし行の抽出にしか使えないと思われていたgrepも、実は-oPをつければ、文字列の「切り出し」にも使えますよというお話でした。

WMPから読み込んだmp3ファイルのID3タグの文字化けが治らない理由

自宅サーバに音楽ファイルを入れて家の中からPCやiPadでアクセスして音楽を聴いているが、どうも昔Windows Media Playerでインポートしたmp3ファイルのメタ情報の文字化けが残ったままだった。

色々ググってみたところ文字化けをするのはmp3ファイルのメタ情報(ID3タグ)がShift-JIS(以下、SJIS)で保存されているのが原因らしい。併せてEasyTAGなるソフトウェアで治せるとの情報があり、試してみたが、結局直すことができなかった。
なぜ治せないのだろうか?と思い、mp3ファイルのメタ情報を16進数で出力してみたら、ちょっと気になった点があった。音楽のメタ情報についての知識は疎いので、これから話すことの理由についてよくご存じの方が居たら詳しく教えていただきたい。


私の音楽フォルダにある「葉加瀬太郎 - 情熱大陸.mp3」というファイルのタグ情報をmid3v2コマンドで表示するとこのようになる。ターミナルソフト上ではUTF-8以外のマルチバイト文字は文字化けするようになっているため、やはりID3タグ情報は文字化けしている。

f:id:greymd:20140924233548p:plain

例えばTALBの部分はおそらくアルバム名であろう。ここは本来は「情熱大陸」となっているはずである。

ここで下の画像のようにアルバム名の文字化け部分だけをシェルで切り出す。
確かになんとなく4文字ということはわかる。

f:id:greymd:20140924233716p:plain


od -xにより16進数表示をする。


f:id:greymd:20140924233831p:plain

8f c2 ae c3 94 c2 c2 4d c3 91 c2 a5 c2 97 0a a4

するとなぜか16バイト分の文字列が出現する。はて、SJISは2バイト文字ではなかっただろうか?なぜ8バイトではないのだろうか。

そこで試しに純粋なSJISの「情熱大陸」という文字列は、16進数で表すとどのようになるのかを、下記のコマンドで調べてみる。

f:id:greymd:20140924233900p:plain

ee 8f 4d 94 e5 91 a4 97 00 0a

すると、見事に8バイトである。つまりID3タグに含まれていた情報はSJISではなかったのか……?
ここで、ID3タグの文字列と、正規のSJISの文字列の16進数版を比較してみよう。

  • ID3タグ内の「情熱大陸」という文字列の16進数表記

8f c2 ae c3 94 c2 c2 4d c3 91 c2 a5 c2 97 0a a4

ee 8f 4d 94 e5 91 a4 97 00 0a


すると、どうも法則性があるような気がする。
ID3タグ情報は、本来ならば2バイト文字であるSJISの文字を、1バイトずつに分割し、c2、あるいはc3という1バイトを付与しているような気がする。しかし具体的な法則性を考察するのは面倒なのでやめる。


つまり、愚直に純粋なSJISからUnicodeへ変換しようとしていたEasyTAGでは、この文字化けは治せなかったということなのかもしれない。
このようなファイルに関してはMp3tagやID3Uniなどのソフトを使って文字化けを直すことができた(参考)が、果たしてこれらのソフトウェアはどのようにして文字エンコードを変換しているのだろうか?

試しにID3UniのREADMEを読んでみたが、やはりSJISからUnicodeへ変換するソフトであるという旨が書いてあった。正確にはコイツが変換している文字列はSJISとは似て非なるものなのだが……。

これは仮説だが、もしかしたら、.NET Frameworkなどを使用すると、フレームワークがメタ情報の扱い方を隠蔽化してしまっているのかもしれない。ゆえに、開発者はファイルからメタ情報を取り出したり、更新したりすることはできるが、実際に書き込まれているバイト列までは意識しなくて良い開発環境が整っているのかもしれない。

だがそもそもの話、なぜこのような似非SJISバイト列になっているのだろうか?SJISには2バイト目が5C等になりうることによる問題がある。それを防ぐための方策だろうか?
いずれにしても、Windows Media Playerで音楽を取り込むのは今後控えておこう……。

Cygwinのインストール方法+α

cygwin

この記事では基本的なCygwin*1のインストール手順に加えて、とりあえず私が最初にやっておいた方が良いと思う下記の2点について説明する。

  • apt-cygを使えるようにしておく
  • カレントディレクトリでCygwinを開けるようにしておく

この記事の内容は、既に存在するCygwinのインストール手順について説明したサイトとほとんど同じである。
しかし、既存サイトは、大学の講義での使用を目的とした解説や、特定のソフトウェアの利用のみを目的としたものが散見され、必ずしも万人が使うとは限らないパッケージの導入について述べていることが多い。

そこで本記事は、私の知人たちを初めとした「特定の目的はないが、コマンドを使って日々のファイル・文字列操作を楽にしたい人」向けに説明するものである。

*1:対象とするのは64bit版のCygwinである。32bit版で同様のインストール手順を踏む場合は"cygwin64"という文字列を"cygwin"に置き換えるとできるかもしれない。

続きを読む

HandBrakeCLIで品質を指定して動画を変換

tips

DVDのISOイメージから、mp4へ動画を変換するのに、HandBrakeというソフトを使った。このソフトの良いところはHandBrakeCLIという、コンソール上で変換をするための実行ファイルも付属していることだ。このおかげで、UNIX系のコマンドを利用して、複雑に入り組んだディレクトリの中から、特定の条件に合致する動画ファイルを変換することができる。

HandBrakeCLI -i input.iso -o output.mp4

ちなみに動画の品質を指定して変換する場合は、--qualityオプションに続いて、品質を表す文字列を併記する必要がある。こんな感じに。

HandBrakeCLI --quality "RF:15" -i input.iso -o output.mp4

文字列は"RF:○○"という数字を含んだフォーマットに従う。15~35くらいのレンジで変化できて、数字が小さいほど高画質。品質の詳細は下記サイトにあった。 参考

About the author

Biography

NAMEYamada, Yasuhiro
NICK NAMEGre (comes from UNIX grep command.)

Software Engineer

I am now working in Rakuten, Inc., and involved in the project related to the payment service system. I earned the master's degree in computer science from Kanagawa Institute of Technology.

When I was bachelor, my primary study was information visualization. After I entered graduate school, however, I start to develop the monitoring system to support a driver in an electric vehicle. I had used the system during the world's biggest solarcar race WSC2013 and evaluated this. Finally, I succeeded to obtain the award in one of the domestic conference and apply for the patent.

Skills

Publications

Journal Publications (Refereed)

  • Yasuhiro Yamada, Hiroshi Suzuki, Akira Hattori and Haruo Hayami:"Method of Visualizing Relations between Tweets to Facilitate Discussions via Twitter",Special Issue on: "Social Knowledge Discovery and Management",Inderscience Publishers(2013,投稿中).

International Conferences (Refereed)

  • Yasuhiro Yamada, Akira Hattori, Tasuku Kobayashi and Haruo Hayami:"Method of Visualizing Relations between Tweets to Facilitate Discussions via Twitter", Proceedings of 1st International Workshop of Social Knowledge Discovery and Utilization (SKDU'12) In conjunction with IEEE/ACM ASONAM'2012, pp.1197-1202 (2012-8-27).

  • Eiichi Takebuchi, Yasuhiro Yamada, Akira Hattori and Haruo Hayami:"Method to extract Genre or Character from tags of illustration via Pixiv", Participants Proceedings of International Workshop on Informatics(IWIN2013), pp.183-188, (2013-9-2)

Domestic Conferences (Refereed)

  • 山田 泰宏, 鈴木 浩, 服部 哲, 速水 治夫:"有向グラフによるTweet群の関連性の可視化方式",情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2012)シンポジウム, 1H-1, pp.258-265(2012-7-4)(*Award-1)

  • 竹渕 瑛一, 山田 泰宏, 猪狩 知也, 鈴木 浩, 服部 哲, 速水 治夫:"Pixiv におけるキャラクタータグを検出する手法の検討",情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム, 1C-5, pp.84-88(2013-7-11)

  • 竹渕 瑛一, 山田 泰宏, 鈴木 浩, 服部 哲, 速水治夫:"クライアントサイドで動作するWebAPIの実装と評価",情報処理学会第75回全国大会講演論文集, 6X-2, pp381-382,(2013-3-6)  

  • 山田 泰宏, 竹渕 瑛一, 鈴木 浩, 服部 哲, 速水 治夫:"有向グラフを用いたVCSのバージョン間におけるレイヤファイルの差分の可視化方式",情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム, 1F-1, pp.153-156(2013-7-10)

  • 山田 泰宏, 猪狩 知也, 藤澤 徹, 速水 治夫:"ソーラーカーのためのリアルタイム遠隔モニタリングシステム",情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム, 4D-3, pp.953-963(2013-7-11)(*Award-2)

Domestic Workshop

  • 山田 泰宏, 猪狩知也:"Solardroid",情報処理学会 コンシューマ・デバイス&システム(CDS)研究会 学生スマートフォンアプリケーションコンテスト(2012-9-12)(*Award-3)

Patent

特許公開番号特開2014-126916
発明の名称テレメトリシステム

Awards and Honors

  1. 2012年7月 情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム ヤングリサーチャー賞

  2. 2013年7月 情報処理学会 マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム 優秀プレゼンテーション賞

  3. 2013年9月 情報処理学会 コンシューマ・デバイス&システム(CDS)研究会 学生スマートフォンアプリケーションコンテスト 優秀アプリケーション賞

  4. 2013年7月 山田 泰宏, 小河千了: "シェル芸による学術活動に対する意欲の評価", マルチメディア・分散・協調とモバイル(DICOMO2013)シンポジウム ナイトテクニカルセッション 準優勝