[:en]AI-Induced Atrophy[:ja]人工知能がもたらす退化[:]

[:en]For some, artificial intelligence and automation in business herald a new era of increased productivity. For others, these are a harbinger of job obsolescence and layoffs.

I, however, question to what degree artificial intelligence and automation in the workplace will cause skills requiring human judgment and empathy to atrophy, and the impact that will have on effectiveness.

I have encountered a number of companies where artificial intelligence is already used to identify potential high-performing employees early on in their careers. Typically, I would expect a manager in the business to regularly assess staff for this purpose, whether as part of a formal process in the organization, an individual one, or both. I would not expect a human manager to defer to the judgment of a machine. Yet I find this is what is beginning to happen.

The HR director of a major company here in Japan told me once that she relies on an artificial intelligence system to identify the best candidates for employment and promotion, mistakenly believing a machine is unbiased compared to her or any other human. Amazon not long ago developed a system to identify the best managers with strong leadership capability in order to eliminate human bias. The system unexpectedly, however, displayed an aggressive bias toward men, never recommending women candidates. The machine merely mimicked male-dominated leadership biases of the company with a perfection even humans could not match. Amazon rightly abandoned the system.

Unbiased machines don’t exist. Machine learning systems merely perfect and exacerbate the biases of whoever programmed them, or the bias present in human decision-making examples from which the machine learns.

At a recent event in Tokyo on artificial intelligence and automation, a panel of experts agreed that artificial intelligence is not intended to replace human judgment, but rather to improve upon it.

Yet what do you think the propensity of a human manager is to decide against the advice of a machine? After all, should a manager follow the machine’s advice and the advice turns out to be wrong, a manager can always blame the machine, whereas if the manager decides against the machine and the machine turns out to be right, the manager might be faulted for arrogantly ignoring the expert system. What if Amazon had not abandoned its skewed system?

Do you think it is far-fetched to presume that managers would abdicate decision-making authority against his or her better judgment to protect his or her career? Have you ever heard the expression, “No one ever got fired for hiring IBM?” Will no one get fired for deferring to a machine, or at least is that what managers will think?

At what point does it become so much easier to rely on technology by default that we forget how to do for ourselves what technology does for us? If you think such a scenario is unlikely, consider how many Japanese adults have lost the ability to write Chinese characters by hand because of their reliance on Japanese word processors? When it comes to automated driving, how long do you think it will be before people forget how to parallel park a car, if not how to drive themselves?

In a prescient 1966 episode of science fiction TV series Star Trek, the M5 advanced artificial intelligence computer ostensibly designed to command and run a starship without the need for a captain, officers and crew complement is being field tested, much to the dismay of starship captain character James T. Kirk, who is apprehensive about being replaced by a machine. “Men no longer need to die in the icy cold of space!” the M5’s genius inventor proclaims.

The M5 performs brilliantly in tests until it takes a war games mock attack as a real threat and destroys a ship in its own fleet killing its entire crew. The M5 computer, for all its superlative “intelligence,” lacked the human judgment and empathy to tell the difference between a real and mock attack. Try as they might, the crew onboard the ship of which the M5 was in control was unable to turn the M5 off before it was too late. You cannot outsource human empathy and judgment to a machine. In the show, the M5 was abandoned.

Not so long ago, the autopilot of the most advanced Boeing 737 in service plunged the jet into the ocean killing all of its passengers and crew. A subsequent investigation has revealed that the autopilot incorrectly thought the aircraft to be in a stall, and responded by bringing the nose down. The pilots of the craft were unable to bring the nose back up as the autopilot continued to force the nose down again. Try as they might, the human pilots were unable to disengage the autopilot.

Had the pilots been able to disengage the autopilot, at least they would have known how to fly the plane. I shudder, however, to think that there may be a day when there will be no one on board who knows how to fly the ship without reliance on a computer.

And what about in your business? Who will still know how to fly your ship in the not so distant future?

I have identified five common characteristics of robust strategy among my most successful clients.

If you would like to know what these are and where your business stands, send me an email, and I will send you a free PDF.

[:ja]ビジネスでの人工知能やオートメーションの発達は、生産性の向上における新時代を意味すると考えている人々がいますが、一方で、それが仕事がなくなったり解雇されたりすることの前触れと感じている人々もいます。

しかし私は、仕事場における人工知能やオートメーションが、人間の判断力や感情を必要とする部分をどこまで退化させるか、また効率化にどれだけの影響を与えるかに疑問を持っています。

これまでにも、優秀な可能性の高い人材を早いうちに見定めるために人工知能を利用している企業を数多く目にしてきました。通常であれば、社則に従って（或いは個別であったり、その両方であったりする場合もありますが）マネージャーが定期的にスタッフの査定をすることで行われてきたことだと思います。人間であるマネージャーが機械にその判断を委ねるなどとは想像しにくいことです。が、実際にこういった光景が見られるようになってきているのです。

ここ日本にある有名企業の人事ディレクターに聞いた話ですが、彼女は機械は人間に比べると偏見がないからという理由で、雇用や昇進において優秀な人材を見極めるために人工知能に頼っているのだそうです。また、アマゾンが、人が持つ偏見のメガネなしに、強いリーダーシップを持つ素晴らしいマネージャーを見つけるためのシステムを開発したのも、それ程昔の話ではありません。しかし、このシステムは、意外にも男性を強く推す傾向を示し、女性を勧めることはありませんでした。機械は単に、男性にコントロールされていた社のリーダーシップに対する偏見を真似ていたに過ぎず、それも人間には無理な程の徹底したやり方で行っていたという訳です。もちろんアマゾンはこのシステムの使用は中止しました。

偏見のない機械など存在しません。機械学習システムは単にそれをプログラムした人間の偏見や、機械の学習元となっている人間の決断例に存在する偏見を、完璧に遂行、そして増長しているに過ぎないのですから。

最近東京で行われた人工知能とオートメーションのイベントでも、専門家達は、人工知能は人間の代わりに判断するためのものではなく、それによってより良い判断をするためのものであるという一致した意見を述べていました。

しかし、人間であるマネージャーが機械からのアドバイスに反する結論を出す可能性はどのくらいだと思われますか。もしマネージャーが機械のアドバイスを受け容れ、それが結局間違っていたとしても、機械のせいにすることができます。一方で、機械のアドバイスに従わなかった結果、実は機械の方が正しかった、ということにでもなれば、専門のシステムを偉そうに無視したマネージャーが悪い、とされてしまうかもしれません。アマゾンの場合、あのとんでもないシステムの使用を中止しなかったら、どうなっていたでしょうか。

マネージャーが自分のキャリアを守るために、自分で判断することは諦めるのではないか、などと考えるのは、突飛なことだと思われますか。「IBMのサービスを取り入れたせいでクビになった人などいやしない」という表現を聞かれたことがあるかもしれませんが、機械に任せたという理由からクビになってしまう人もいないでしょうし、少なくともマネージャーはそういう考え方をするのではないでしょうか。

どの時点まで行けば、当たり前にテクノロジーに頼ることがずっと楽になって、テクノロジーができることを自分達ではできなくなってしまうのでしょうか。そんなことが起こる可能性は低いと思っている人もいるかもしれませんが、日本語ワープロのせいで漢字を手書きすることができなくなってきた日本人が増えてきたことを考えれば、そうとも言えないと思います。自動運転技術にしても、その普及のせいで、縦列駐車はおろか、運転さえ自分でできない人ばかりになるのは、そう遠い未来ではないのではないでしょうか。

SFテレビ番組スター・トレックの１９６６年に放送された回に、将来を暗示するかのようなこんな話がありました。船長や乗組員なしでも宇宙船を運転、指揮できるようなM5という先進人工知能の備わったコンピューターが開発され、それのテストがなされる、という内容です。船長であったジェームズ・T・カークは機械に取って代わられることを危惧しましたが、M5の天才発明者は、「このコンピューターがあれば、人間が極寒の宇宙で死に果てるような危険を冒す必要もない。」と豪語していていました。

M5のテストは非常に上手く進んでいましたが、ある日訓練のために行われた模擬の攻撃を受けた時、それを本物と間違え、宇宙船とその乗組員全員を破壊してしまいました。素晴らしい頭脳の備わっていたM5ですが、人間であれば持っている判断力と感情に欠けていたせいで、その攻撃が本物か偽物か、違いがわからなかったのです。M5にコントロールされていた宇宙船の乗組員達は必死でM5のスイッチを切ろうとしましたが、間に合いませんでした。結局人間の持つ感情や判断力を機械に任せることはできないのです。このエピソードは、M5プロジェクトが中止されるという結末でした。

しばらく前に、オートパイロットで飛んでいた最新型のボーイング737が海に墜落し、全ての乗客と乗務員が死亡するという事故がありました。事故後の調査で明らかになったのは、オートパイロットシステムが、機が失速していると勘違いし、それに対応するために機首を下げたということでした。操縦士は機を立て直そうとしましたが、オートパイロットが機首を下げ続けた為、それも無駄な努力となってしまったのです。どれだけ頑張っても、人間である操縦士がオートパイロットを止めることはできませんでした。

オートパイロットを切ることさえできれば、操縦士が自分達で飛行機を操縦することも可能だったはずです。しかしながら、いつかコンピューターなしで操縦ができるような人が機内に全然いないような状態で飛行機が飛ばされるような日も来るかもしれない、と私は恐れています。

あなたのビジネスではどうですか。近いうちにあなたの会社を操縦する方法を知っている人がいなくなるなどということはありませんか。

[:]