dellganovさんによる「2010年度三田図書館・情報学会研究大会研究発表　図書館ウェブサイトの公開性－クローラに対するアクセス制御に関する調査－安形輝（亜細亜大学）」を聞いたレポート

新出 @dellganov

明日は、三田に行く予定。

新出 @dellganov

#librahack http://bit.ly/aeL0S3 2010年度三田図書館・情報学会研究大会研究発表　図書館ウェブサイトの公開性－クローラに対するアクセス制御に関する調査－安形輝（亜細亜大学）を聞いてきたので報告します。

新出 @dellganov

#librahack 調査日は2010年９月５日。調査対象は2,065館（公共図書館1,277館、大学図書館788館）の図書館のウェブサイト。

新出 @dellganov

#librahack このうち、robots.txtを置いていたウェブサイトは467館（公共図書館205館、大学図書館262館）で全体の22.6%（公共図書館16.1%、大学図書館33.2%）。

新出 @dellganov

#librahack さらにrobots.txtを設置していてもそれが誤っているウェブサイトもあった。まず、robots.txtにREPではなくエラーメッセージ等の書かれたHTMLページを返すものが59件（公共図書館20館、大学図書館39館）あった。

新出 @dellganov

#librahack これは実質的にアクセス制限されていない状況である。

新出 @dellganov

#librahack 次に、文法的な（致命的な）誤りがあるrobots.txtも17館に置かれていた。その代表は岡崎市立図書館である。17館とは別に既に修正されている図書館は５館あった。これらは全て同じ業者によると推測される。

新出 @dellganov

#librahack 他にも些細な誤りや特殊なアクセス制御として、Baiduと国会図書館のクローラだけを拒否している日本文理大学などの例がある。Baiduの排除はけっこうある。Googleは動的なものについてのみ排除するなどがある。

新出 @dellganov

#librahack クローラをすべて排除している図書館は71館（3.5％）ある（公共図書館61館(4.8%)、大学図書館10館(1.3%)）。

新出 @dellganov

#librahack クローラ全排除の影響として、Yahoo!Japanの検索では図書館サイトが検索上位に表示されなくなり、Googleは表示されるもののサイトの要約が出力されないなど怪しいサイト風の表示となったものが多かった。

新出 @dellganov

#librahack 質問（私）：図書館ウェブサイトのトップページにはrobots.txtが設置されていなくても、別サイトのWebOPACには設置されている例（横浜市、国会図書館など）はカウントされているか。

新出 @dellganov

#librahack 答：サブドメインについては今後の調査になる。現時点では図書館サイトのトップページに設置されているかどうかの調査。

新出 @dellganov

#librahack 質問（私）：個人が図書館サイト専用のクローラを作成したときに、robots.txtを守るべきか→答：個人的には非常識なアクセスで負荷を高めないのであれば無視してもよいのでは。

新出 @dellganov

#librahack 質問：日本文理大はなぜ国会図書館だけを排除しているのか→答：不明。

新出 @dellganov

#librahack 質問：robots.txtの記述や設置はどこまで意識的に行われているか。また誰が設置しているのか。→答：誤っているものが全て同一の業者だったことから、図書館は業者に丸投げしているのではないか。（終）

ymiwa @rakugodesi

業者まで調べたか。 RT @dellganov: #librahack 質問：答：誤っているものが全て同一の業者だったことから、図書館は業者に丸投げしているのではないか。（終）

まー某 @mabow

@dellganov 日本文理大学ですが試行期間にクロールされ公開を許可していますね。最初が全不許可でないのでそこでクロールされたのかな？

Hiromitsu Takagi @HiromitsuTakagi

これか http://www.nbu.ac.jp/robots.txt RT @dellganov …Baiduと国会図書館のクローラだけを拒否している日本文理大学などの例… #librahack

Hiromitsu Takagi @HiromitsuTakagi

それ200だったんですかね。404のを見てたりしてないのかな。@dellganov …設置していてもそれが誤っているウェブサイトもあった。まず、robots.txtにREPではなくエラーメッセージ等の書かれたHTMLページを返すものが59件… #librahack

@sakyo_bot

@dellganov NDL を国会図書館と知らなかったのでは？民間のクローラーと勘違い？

KINOSHITA, Kouji @nodeworks

RT @otsune: バグで性能が出ないシステムを納品しといて「改善するにはバージョンアップが必要です」とウソを付いてゼニを絞りとるってのは、三菱電機インフォメーションシステムズに限らずたいていのソフトウェアベンダーがやってた手口ではあるよな #librahack

librahack bot @librahack_bot

【定期告知】ハッシュタグ #librahack のまとめサイトがあります→http://bit.ly/cKp8iN 初めての方は「よくわかる岡崎～事件の流れ」や「よくある質問とその答え」をどうぞ。より深く知りたい方は「岡崎～事件の時系列」や「各種リンク」のリンク先を参照ください。

min2fly @min2fly

岡崎の件について「研究者で委縮してしまう人がいるのでは」というのがデジタル・フォレンジック研究会で話題になっていたが、昨日の三田図書館・情報学会で図書館webサイトの公開性を調査していた安形先生が岡崎のニュース聞いてクローラ動かすのためらった、と発言していた #librahack

min2fly @min2fly

ニュースを聞いて自分の周囲で影響受けそうな研究者として真っ先に思いついたのが亜細亜大の安形輝先生だったが、ご本人がまさにその件について学会発表を行った、という。さすが