舞台は日中15年戦争の頃の上海租界。イギリス、フランス、日本などが表地と裏地がまだら模様に捻じれあう策謀劇を繰り広げていた。
語り手「わたし」の父親はイギリス商社の上海駐在員。会社は通常の貿易業の裏側でインドのアヘンを中国に密輸入し、何百万の中国人をアヘン中毒にさせて国そのものの支配をもくろんでいる。
「わたし」の母親はそうした会社の裏稼業をキリスト教の教えに悖ると激しく糾弾する。しかし海外駐在員としての豊かな生活が夫の会社の悪行に支えられていることは意識している。
父親はまじめなイギリス紳士であり、会社の違法業務に苦しんでいる。また何かにつけてそのことで自分を問い詰める母にも苦しむ。
清朝を倒した国民党だったが、アヘン中毒については実効的な取り締まりをほとんどしなかった。それどころか上海租界でのアヘン売買から蒋介石の軍隊は莫大な利益を上げ、その資金が毛沢東の共産軍を押える最大の武器になっていた。
「わたし」や日本人の幼なじみ「アキラ」はこの陰謀世界で育ったのだが、「わたし」も「アキラ」もどのように両親に可愛がられたにせよ、大人同士、生きるために毎日騙し合いを重ね合う租界生活ではどの子も所詮は捨てられたような「孤児」にすぎなかった。「わたしたちが孤児だったころ」という題名の意味はそういうことである。
それにしてもカズオ・イシグロはよほど中国人が嫌いのようだ。登場するたいていの中国人が、アメリカ映画に出てくる哀れな料理人か、そうでなければ江沢民を髣髴させるような人間に描かれている。
ｐ364
（伝統的中国社会に育った者ではない）わたしは、上海に長くいればいるほど、この社会のいわゆる指導者と言われている人々をしだいに軽蔑するようになってきた。わたしの仕事は諜報員だが、いろいろな事件の調査を続けるうちに、社会上層の彼らのうちに巣食う怠慢や腐敗が毎日明らかになってきた。
高い地位にある人々の言い逃れ、責任転嫁、あきれるほどの不誠実な態度と物言い・・・・・、わたしは当地に来て以来、そのことを正直に恥じる人にも、そうと認識している人にもただの一度もお目にかかることはなかった。
取材が終わりイギリスに帰ろうとする朝、わたしはエリートとされている三人の中国人名士と上海クラブで会食していた。そしてまたしても彼らのいわれのない尊大さや、当時（1930年代後半）のひどい状況に彼ら自身責任があることを相変らず否定する場面に出くわした。そのとき、わたしは今後一切、こういう人々と縁を切れるのだと思うと、思わず興奮を覚えるのだった。
この「わたし」の思いは、孔子、孟子の「礼」思想を手厳しく批判した福沢諭吉『文明論之概略』の一節そのままである。いわく「支那は礼儀の国にあらず、礼儀の人の住居する国というべきなり」（中国には堯舜以下、聖人はたくさんいる。昔も今も礼儀の士君子はたしかに居住している。だから中国を礼儀の国といえるかといえば、国全体のありさまを見れば、殺人や泥棒が多く、刑法はきわめて厳しいのに、罪人は一向に減らない。全体の人情風俗が賤劣な点で、ちょうどアジアの停滞性の象徴といえる。・・・・・二、三の聖人を見ても国全体のレヴェルは分からない。」（丸山真男＜『文明論之概略』を読む＞中巻ｐ17）
