やみんちゅの備忘録

情報系院生(元工大生)の日々のぼやきや技術的な話など

ReactとAmazon Mechanical Turkによる実践アノテーションツール(番外編)

こんにちは.やみんちゅです.

前回Amazon Mechanical Turkのテンプレートで対応できない際に,外部サイトでアノテーションツールを動かしてMturkから誘導する,というような話をしました.実はこの時に(先の話のネタバレになりますが)AWS SDK経由でAPIを叩いてMturkに仕事を投げることになります.ここではそれに関連した小話を二つします.

 

本当にAPIを叩く方がいいのか?他の方法はないのか?

そもそもなんですが,外部サイトでアノテーションを行うような方法を本当にAmazonが用意していないのか?という疑問がありそうですが,実はあります.テンプレートも用意されています.この辺りの話は下のリンクでMturk公式が回答している通り,Survey Linkテンプレートを使用することでAWS SDKを使うだのというめんどくさい話は全てスルーできるのです.

stackoverflow.com

 

だというのに,なぜこのブログではわざわざ面倒臭い方法をとっているかというと,そこにはアカウント管理の問題が絡んできます.MturkではAWSアカウントではなく米国Amazonのアカウントが必要になるのですが,MturkではAWSとは違いゲストユーザを設定することができません(ここ勘違いしていたら誰か教えてください).作業者は支払い情報もろもろを閲覧できるルートユーザでMturkにログインし,作業する必要があります.その点,APIを経由する場合はMturkのアカウント周りは一切触らず,管理者はAWS側でAPIキーだけを作業者に渡せばよく,特に研究室なんかで学生にHITの作成をさせたい場合とかに,機密情報に触らせずに作業させられるので管理上好都合というわけです.

API経由で作成したHITsは,Mturkのサイト上で管理ができない

API経由で作成した場合,提出情報の確認やHITsの終了といった重要な管理が,実はMturkのサイト上にある管理ツールで行えないという致命的な弱点があります(普通にMturk上でテンプレートから作成した場合には大丈夫).なら管理ツールを内製するか,といってもコストが高いのまぁ無理なわけですが,人間大体同じことを考えているので実はAPI経由で作成したHITsの管理ツールを既に作ってくれている方がいます.

github.com

使い方は見て慣れれば大体なんとかなります(READMEもあるし).大抵の管理機能はこれで補完できます.

 

というわけで,チュートリアル用のリポジトリ作成が全然間に合っていないので小話でなんとか場を繋ごうという回なのでした.しかし2番目の管理の話は普通に三四日ぐらい詰まっていたところなので,これからMturkに立ち向かう人たちの一助になれば幸いです.