5号館を出て

shinka3.exblog.jp
ブログトップ | ログイン

インパクト・ファクター

 我々、日本の自然科学研究者を強く支配しているある数値があります。インパクト・ファクターと言って、ある雑誌に載った論文が過去2年間にどのくらい他の論文などに引用されているかという回数の平均値を出して、その雑誌の科学界への影響力を表す数値とされています。

 ここに良い解説があります。

  1999年のインパクト・ファクター=(1997年と1998年にある雑誌に掲載された論文が1999年に引用された総被引用回数)/(1997年と1998年にある雑誌に掲載された論文総数)

 たとえば、Journal of American Society of Nephrologyという雑誌は、1998年に271編、1997年に230編の論文を掲載していますが、1999年にそれらの論文が、1409回と1688回引用されました。したがって、

1999年のインパクト・ファクター=(1409+1688)/(271+230)=6.182


 ここで出ている6というのは、かなり高い値で、日本国内で出ている学術雑誌などでは1を越えないものも多いのですが、国際的に高い評価を得ている、Cell, Nature, Scienceなどは常に20から40という値を出しています。

 インパクト・ファクターが高くなればなるほど、その雑誌のレベルが高いと信じられる傾向にありますが、計算式を見てわかるように、インパクト・ファクターは2年間という短期間のあいだに引用された回数で計算してありますので、一時期に爆発的な影響力がなくても長い間に少しずつ引用されることが続くような論文を載せた雑誌(たとえば、分類学)などを扱う雑誌に関しては正しい評価を与えることができません。いわゆるロング・テイル論文の評価ができないということです。

 さらに、これはあくまでも雑誌に出たすべての論文の被引用回数の平均なので、ほとんど引用されることのない論文の中に、たまたますごく引用される論文があったとしても、雑誌のインパクト・ファクターを上げることにそれほど貢献することはできません。逆にほとんどまったく引用されることのない論文でも、インパクト・ファクターの高い雑誌に載ってしまえば高い値(=評価)を得てしまうということになります。

 ですから、本来インパクト・ファクター(正しくはサイテイション・インパクト)というのは一つ一つの論文に対して、どのくらい引用されているのかを調べて出すべきものだと思うのですが、なぜかその値が論文の評価になっている例はほとんど見たことがありません。インパクト・ファクターを出すに当たってはそのデータが元になっているのですから、出せないはずはないのですがなぜか一般的には個々の論文ではなく雑誌のインパクト・ファクターをもって、個々の論文の価値を示すデータに転用されていることが多いのが現状です。(まあ、ある年に発表されたすべての論文を解析しても、発表する場がありあませんので、、、。)

 しかも、引用索引の創始者であり、インパクト・ファクターを科学界に広めたEugene Garfield博士は、インパクトファクターを個々の教員評価に利用すべきでないと注意を喚起しているにもかかわらず、日本では教授選考にあたって、発表論文をインパクト・ファクターによって評価することや、講座や研究者の評価を行なっている例も出ており、インパクト・ファクターは研究者の業績評価データとして日本では完全に一人歩きを始めているのが現状です。例えば、ここをご覧ください。

#出した論文の出た雑誌のインパクト・ファクターの総和が200を越えないと教授選に出さないという医学部教授会があるという「噂」を聞いたことがあります。この足した値というのが何を意味するのか、私には理解できません。

 さて、ここまでが前振りで、いよいよ本題です。

 ノーベル賞候補者のひとりのお宅に詰めて、賞の発表を待っていた踊る新聞屋-。さんが、どうやらこの候補者の先生に講義をされたようで、「ノーベル賞の選考基準の一つには、その研究者の論文がどれだけ引用されたか、というのが入っているらしい。そう、引用なんですよ」と書いています。まさにこのインパクト・ファクターの話をレクチャーされたわけです。

 それを聞いた踊る新聞屋-。さん、さすがにブロガーですから、これはトラックバックと似ているなとピンときたようで、「ブログの価値判断を引用された件数で行い、数値化して表示できないだろうか」と書いています。

 そう、確かに似ていますね。ところが、我々が日常使っているインパクト・ファクターというのをダイレクトにブログに世界に適用すると、あるブログのある記事ではなく例えばライブドアのブログ全体でどのくらいトラックバックがあったのかという値を出すことになってしまいます。そんな値に何の意味もないというのは誰でもわかることなのに、科学の世界ではそんなバカな値をありがたがって教授選考などに使っているというわけです。誰が考えてもおかしい話です。

 踊る新聞屋-。さんはまさか科学者の世界でそんなバカなことが行われているとはつゆ知らず、いろいろ悩んだあげくにともかく特定のブログエントリーの評価をするために「被引用件数を定量化(?)して、検索結果なりランキングとして明示する仕組みを機械にやらせるというのは難しそうではあるけど、あると画期的じゃないですか?」と結んでいます。

 被引用件数というのは否定的な引用も含まれますので、ダイレクトに評価の値にしてしまうのはなかなか難しいとは思うのですが試みとしてはやってみてもおもしろいと思います。各社のブログ検索システムを使うと簡単にできるはずです。少なくとも、ライブドア全体のインパクトファクターを出すよりは、特定のエントリーのサイテイションインパクトに意味があるのは当然ですので、我々が毎日踊らされているインパクト・ファクターよりはマシなデータが得られるはずです。

 それにしても、日本の科学者がこんな変なデータに踊らされているって、知ってました?
Commented by inoue0 at 2005-10-21 08:15
科学史家の村上陽一郎は、それに加えて、論文ごとの割いてーションインデックスも信用できないと言っています。USAでの調査によると、学閥内部において盛んに引用が行われて、恣意的に被引用数を上げている可能性が指摘されています。さすがに指導教授の論文を引用するぐらいは研究の継続性からいって当然としても、仲のいい人たちの間で「引用の貸し借り」があるんだそうです。
 私は引用数評価には、googleのアルゴリズムを利用すべきだと思います。googleは単にリンクを張るだけではランクが上がりません。リンク元の評価が高い必要があるからです。
 つまり、被引用数統計においては、引用した論文そのものの評価の重み付けが必要と考えます。単純な合計じゃだめ。
Commented at 2005-10-21 10:54
ブログの持ち主だけに見える非公開コメントです。
Commented by pal at 2005-10-21 10:55
うわ、非公開コメントにしちゃった;;
Commented by stochinai at 2005-10-21 15:15
 inoue0さん、私も「引用数評価には、googleのアルゴリズムを利用すべき」には賛同しますが、そもそも引用数評価というのは引用数の評価に過ぎないわけで、科学論文の評価は内容を評価できる複数の人間がやれば良いという基本に立ち返るべきだと思います。もちろん、その場合は「評価する人間を評価する」というプロセスも必要になります。日本の科学の世界では、このあたりのことが真面目に議論されませんが、要するにきちんとした評価ではなく使いやすい評価が求められているということなのでしょう。「評価」の意味が違うのです。
Commented by stochinai at 2005-10-21 15:23
 palさん、の非公開コメントは公開しちゃってもいいんですよね。「全ての研究者の評価はgoogle先生がすることになるんでしょうねー」って、今でもGoogle Scholarという研究者を評価する検索システムがありますので、どんどん利用したら良いと思うのですが、研究者の世界ではその存在すら知られていないようです。もっとも、知ったからといって使うかというと、日本では使われないような気がします。理由は、上と同じです。ただし、マスコミ関係者など外部の人はどんどん利用したら良いと思います。Googleはアカデミックの閉鎖社会に風穴を開けることには大いに役立ってくれると思います。
 今朝の新聞に(Google print?が)出版社から提訴されたって書いてましたけど、どうなるか気になります。
Commented by おこじょ at 2005-10-21 15:39
>#出した論文の出た雑誌のインパクト・ファクターの総和が200を越えないと教授選に出さないという医学部教授会があるという「噂」を聞いたことがあります。
すっごい受けました。その話当事者からリアルで聞いたことあります!
結局候補者の書いた論文を全部読んで評価するのがめんどいから、
こんな「数値」に頼らざるおえないんだと思います。
Commented by stochinai at 2005-10-21 20:46
 確かに笑い事でもあるんですが、そこまで手を抜いてやった「評価」ってなんなんでしょうね。褒められてもうれしくないでしょうし、けなされても気にもならないんじゃないでしょうか。
 これって学生による教員評価にも言えることかもしれません。評価って本当に難しいことなんですが、やるからには真面目にやってもらいたいものです。
Commented by cony at 2005-10-21 22:21
インパクトファクターはおかしいところがあると思っていても、業績を上げるにはインパクトファクターを目安に投稿する雑誌を選んだりする、という現実もあります。それによって、その雑誌の価値や意味が制限されるような気がします。
サイテーションは、著者が多いと多くなる傾向にあると思いますが、著者の人数も分野によって違います。つまり著者数によって業績も変わってくることになるので、少ない共著者で書く方としては非常に悔しい思いをします。
医学部の教授選のような話、聞いたことがあります。このような弊害があちらこちらででていると思います。インパクトファクターの計算方法をもう少し考えた方が良かったと思います。
Commented by ぜのぱす at 2005-10-22 04:42
話は少しずれますけど、ウソかホントかは知りませんが、first か last authorじゃない論文は業績にカウントされないという教官選考の話を聞いたこともあります。コレもどうなんでしょう?実はその他大勢のauthorの中でも、縁の下の力持ちと云うか、そのひとが居なければ成り立たなかった研究成果も多々あるでしょうに、そういう人々は評価をされないことの方が多いでしょう。もちろん、確かに、やたらめったら政治的しがらみだけで名前を連ねている論文も多いので、firstかlastだけで評価するというのも、それなりに簡便で有効な方法なんでしょう。

IFも同様だと思うのですが、正しく評価する能力がない人たちが、簡便さだけで、機械的に評価をする為にこういう指標が使われてしまうのですね。

偏差値も似たようなものですか。

ただ、IFにしろ、authorshipにしろ、偏差値にしろ、確かにある程度の正の相関ー例えば、IFの高い雑誌には良い論文が多いーは見られるのではないでしょうか?要は、そういう指標で測れないものを見極めることが出来る人が少ないというのが問題でしょうか。
Commented by Inchiki Factor at 2005-10-22 05:16
最近の超一流誌(Nature, Science, Cell など)に見られるretraction論文の多さを見ると、「IFが高い雑誌ほどいい論文が多い」という神話はすでに崩れつつあると思います。
Commented by ぜのぱす at 2005-10-22 06:11
IF=Inchiki Factorとは云い得て妙かも。
そうですね、昨今の捏造騒ぎは何なんでしょうか?
でも、もしかすると、IFの高い雑誌だけに注目度が高く、だから下手なことをするとすぐバレてしまうけど、そうじゃない雑誌だとバレていないだけかもしれませんが。いずれにしろ、モラルの低下は嘆かわしいことです。そうまでしてIFを稼ぎたいというのは、やはり、皆、IFに踊らされているんでしょうねぇ。
Commented by 踊る新聞屋-。 at 2005-10-22 07:30
拙エントリを紹介いただきありがとうございます。成果主義や評価が一人歩きする日本の典型事例の一つのように感じました。こういうことが科学の世界で行われていると知る人は、ほとんどいないのでしょうね。かなりビックリ!です。IF=Inchiki Factorというのも、ちょっと笑えました。
Commented by stochinai at 2005-10-22 14:21
 インパクト・ファクターというのはもともとは学術雑誌が利用される頻度や研究者の論文引用行動の「傾向」を解析するために考え出された数値だったものが、いつのまにか個人を評価する「絶対値」としてのデータに使われて一人歩きを始めたものだと思います。単純な結論を好む国民にまずいものを与えてしまったと思います。
 専門外の人に説明する時にも「この値の高い雑誌が優れているもので、その雑誌に論文が載る人はすごい科学者なんですよ」と説明できて、今のマスコミだったら疑いもせずに「そうなのです」と報道しちゃいますから、いったん動き始めた大型船をとめるのはなかなか難しそうです。
 傾向としては正しい説明が、必ずしも個々のケースにはあてはまらないのです、なんていう説明は嫌われるんでしょうねえ。
Commented by ブラックジャック at 2005-12-03 14:01
テレビ局が視聴率に振り回されているのと似ていませんかね。高視聴率=いい番組の方程式はご存知の通り、通用せえへん。しかし、高視聴率=効率的宣伝媒体は関係は正しい。でっち上げであろうが、不快であろうが、下品であろうが、高視聴率TV番組は、多くのスポンサーを得るのとちゃうやろか。NATUREやCELLもISNも、NPOでも学会でも何でも有りまへんで。高視聴率を目指さざる得ない宿命をもつ営利企業でっせ。それに振り回されている日本人研究者は、自身の評価能力の無いことを露呈している、単なるアホちゃいまっか。
Commented by stochinai at 2005-12-03 14:14
 似てると思います。研究の世界だけではなく、日本はポピュリズムが幅を利かせており「国民の支持」こそが絶対的権威を持つ人気投票国家だと思います。しっかりした批評家が育ちにくいし、たとえ育ったとしてもそういう人の発言が力を持たないのではどうしようもありません。芸能界ならそれで良いのかもしれませんが、芸術や科学もそれで、さらには政治までそうなってますので、かなり重態だと思います。「ご臨終メディア」という本がありましたが、ひょっとすると「ご臨終ジャパン」だったりするかもしれません。と言いながら笑えないところが怖い。
Commented by alchemist at 2005-12-03 14:33
医学部でIFが指標(あくまで指標です)の一つとして使われる理由の一つは、ある領域の教授を選ぶ時にはその領域の専門家は存在しないことが多い(何てったって、専門家が居ないから補充するワケですから)ということじゃないでしょうか?他の学部はどうなのか知りませんけど。
Commented by alchemist at 2005-12-03 14:42
IFにそれほどこだわるワケではないですけど、やっぱり院生が外国でポストドックになる時には、同じ内容ならIFの高いジャーナルに載ってた方がなり易いですよね。(アメリカ人なんざ、どこのジャーナルに出たか、結構、気にしてます)。そういうことを考えると、無視することもできません。
Commented by stochinai at 2005-12-03 14:48
 やっぱり人事とかポスドクの審査なんかも、専門の審査機関を作って、世界中から「本当の専門家」を集めて評価させるということをしない限り、お手軽にIF審査ということくらいしかできないということなのだと思います。ブラックジャックさんのおっしゃるとおり、評価できないからIFにたよるという事実は間違いなくあります。
by stochinai | 2005-10-20 23:12 | コンピューター・ネット | Comments(18)

日の光今朝や鰯のかしらより            蕪村


by stochinai