時は、江戸藩政初期、大坂の陣も終わり徳川幕府もいよいよ安定期に向かいつつある時代で、南部藩もまた二代藩主・南部利直の下、近世大名家として繁栄の様相へと移り行く時代背景の中、八戸家の当主、八戸直政が出張先の越後高田にてにわかに病を発し、帰国途中に死去する事態となり後継がなく、お家存続の危機となったが、直政夫人は南部利直の姪(母が利直の姉)ということで南部家重臣の後添えにと考え八戸氏を完全併合を目論んだとされる。
しかし、直政夫人は女当主の道を選び八戸氏第２１代を継承、後に娘に一族で新田政広の子、直義を婿養子に迎え２２代を継がせ自らは髪を下して清心尼と名乗り、全国に珍しい女殿様として八戸南部氏存続を叔父南部利直に許された。
しかし、戦国的英雄の名残りを残す南部利直は、八戸南部氏の弱体とみるや八戸二万石を併合する好機と捉え、八戸領田名部三千石の返上、さらに先祖伝来の地、八戸から伊達領境、遠野への移封を持ちかけ、直義は断ることができず遠野移封が現実となる。
寛永四年正月、八戸第２２代、八戸直義をはじめ南部家重臣、一族と共に宗家南部利直に新年祝儀の挨拶に盛岡城に登城し、新年祝儀の後、祝宴となり利直は重臣等と新領地遠野統治が難儀していることについて語り合っていたとされるが、直義の顔をみて遠野は今のような状況であるので遠野支配は貴家に頼みたいと言い盃を差し出し、直義は突然の話でもあり困惑したまま盃を受けたが、若年の私には左様な大任は無理と・・ひたすら辞退したといわれるが、利直は、目出度いと・・・繰り返し、盃を指すだけだったと伝えられている。
八戸家伝記では、稗貫郡の一部花巻１万石と遠野１万石、併せて与えるという内容だったといわれ、花巻・遠野、好きなほうに住まいするとよいとのことであったが、花巻は南部利直の子、政直がかつて治めていた土地なので遠慮したい旨伝え花巻は辞し遠野のみとしたとも伝えられている。

しかるに、宗家南部利直は、八戸南部氏の軍事力弱体と二万石といわれる八戸領、しかし港を有する八戸は５万石に匹敵するといわれる、その地を直轄とするという一石二鳥の策が成功したということが後々いわれている。
南部利直は清心尼の田名部返上にともない、遠野から田名部は遠隔の地でもあるので統治には何かと不便であろう、ましてや当主の直義は若年でもあるし、後見するのは女主人の清心尼でもあるので、直義が政務に慣れるまで、当方が預かることにする・・・・ということで田名部を返上したといわれている。さらに利直は、遠野は海がなく不便であるので、しかるべき海岸のどこかを与えると言ったとされる・・・・その後、田名部は遠野へ還されることはなかった。
遠野移転は、八戸南部氏の弱体を意味し、当主はともかく家臣の多くは今まで蓄えた財産の放棄を意味し、特に下級武士の多くはそのまま八戸へ残り、八戸南部氏は数百年も培ってきた家臣団の多くを失い軍事力が著しく衰えたとされ、実は盛岡南部家の狙いもそこにあったといわれている。

寛永４年３月９日、直義はいよいよ遠野移封の途につき、これより先の３月６日、遠野城受取りと移転先現地準備のため、足軽支配・岡前宮内以下、坂本善助、服部図書、米内仁兵衛、悪虫若狭が出立し、盛岡南部家からの派遣城代、毛馬内三左衛門・槻舘左兵衛から遠野城受渡し事務が完了し直ちに早馬にて報告に向かったのですが、直義と会ったのは３月１２日、遠野入り目前の昼頃で上宮守(宮守村)となっていますので遠野城受渡しの引継ぎが簡単に運ばなかったことが想像されます。
３月７日には御台所処役人、小笠原喜兵衛が食事全般の手配のため、翌８日には道中の宿泊諸準備のため木村藤兵衛が常福寺、東善寺僧侶達がそれぞれ出発しています。僧達は遠野城や町屋の悪気や厄を払うため先行したといわれています。
３月９日いよいよ八戸直義一行の本隊も出発し、長年住み慣れた、しかも先祖伝来の故郷、八戸を後にしました。直義は籠でという家臣の進言を退けて馬にて遠野へ向かったとされています。
乗馬の家臣は１３人、徒歩の者がそれに続き、荷駄隊が続いたとされ、９日、午前７時頃八戸根城を出門、領民達の見送りを受け、中には三戸境まで見送りに付き従った者も多数あったと伝えられている。
三戸観音林にて昼食、二戸まで進み福岡(二戸)泊・・・・翌１０日は早朝出発、中山で昼食、夜になってようやく宿泊地、岩手郡巻堀に到着し、この一日の旅は疲労が激しく、難所の奥中山越えに難儀したようです。また巻堀は十数件のみの家があるだけで宿舎からはみ出た小者は土間に寝たとのことで疲れがとれず、翌１１日、昼には盛岡入りを予定していたものが盛岡に着いたのが陽もたいぶ西に傾いた頃だったそうです。
ところがこの日の宿泊地は志和の佐比内だったのですが、このまま盛岡泊りにしてはどうかという声の中、総指揮者の比巻沢市兵衛が激しく叱咤して予定変更はせず、佐比内に着いたのは夜もだいぶ更けてのことだったそうです。
そして最終日１２日は、旅の疲労と前日の到着が遅かったせいか出発が遅れ、それでも予定地の上宮守で昼食を摂り、野辺に座っての昼食だったそうです。この時、遠野からの早馬と出会い、遠野受渡しの首尾について報告を受けたといいます。
上宮守から小峠を越え、綾織宮ノ目から附馬牛、東禅寺に出て、駒木に至る。当時は綾織から附馬牛へ出て駒木から遠野へ入るルートだったそうで、遠野の町人百姓は盛装し駒木にて出迎え、一行も隊列を整え、遠野へ入ったとされますが、実は直義一行と遠野入りしたのは乗馬部隊とその側近だけで、徒歩隊のほとんどは極度の疲労と足を痛めた者が多く、そのほとんどは夜になってから遠野入りした者が多く、さらに途中落伍したものもいたそうです。
一方、八戸では、新田九右衛門、西沢精八、小笠原総右衛門が城明渡しの任のため残りました。
南部藩の使者、工藤主膳と正式に城明渡しの儀式が完了し、直ちに遠野へ出発したといわれています。ただし、八戸根城では、後々申し送り事項などもあり交渉役として田面木左内が南部本家が了承するまで留め置かれたといわれます。
直義一行が遠野城に着くと略式ながら入城の儀式が行われ、仔細は伝えられていないが、先んじて遠野入りしていた僧侶が塩と米を撒きながら先導したと伝えられています。
本丸に入った直義は、家臣、領民の代表から祝儀を受け、祝宴を行い八戸から持ってきた肴(干鮑)と遠野産の牛蒡の油炒りだったそうで、後に遠野南部家、そして家中の上下を問わず、祝儀、不祝儀では必ず牛蒡の油炒りがつくものとされたそうです。

遠野城(鍋倉城)に無事入城となった八戸直義であったが、鍋倉城は旧領主、阿曽沼広長、気仙落ち後、阿曽沼一族の上野右近が城代として住まいしていたが、主家を裏切り没落させたという風評と良心的に寝覚めが悪かったのか、ほとんど城には寄り付かず己の舘(谷地舘)に居たということで、さらに上野右近の死後は、小者二人が居るだけで鍋倉城は荒れ放題の状態だったそうです。町屋もしかりで、阿曽沼旧臣達の家は戸がなく筵などを下げていたといわれ、八戸の住居とは雲泥の差だったということで、仕方なく家臣達は町屋や近在の百姓屋に間借りしていたそうです。
その後、八戸に残っていた譜代の家臣達も暫時遠野入りしたそうですが、阿曽沼氏没落後は浪人や無頼の徒が横行し、治安が悪化しており遠野は荒れ果て、暗黒時代の様相で慶長五年から寛永四年まで約３０年も、このような状況下だったとされています。
遠野１２５００石への国替えとはいえ、遠野の実高は１万石弱といわれています。
まずは、家臣達の住居建設が行われ物見山の豊富な木が伐採されて思うような武家屋敷が次から次と完成したといいます。
当時の遠野の町は、旧領主阿曽沼氏第１３代、広郷が松崎の横田城から鍋倉山に居城を移したときに町屋や武家屋敷が移転させられたもので、家々は武家も町人も区別がないほど雑然としていたとのことで遠野南部家入部による町づくりで本格的な城下町となったものです。
物見山は木々が豊富とはいえこの町づくりで坊主山となったともいわれています。

八戸時代からの家臣の多くを失って武力が著しく衰えた遠野南部家でしたが、新領地、遠野には阿曽沼氏旧臣がけっこう居たといわれ、失った家臣の補充には事欠かなかったともいわれています。
これら阿曽沼遺臣達を以前の身分や俸禄にとらわれず一律２０石で召抱え、後の働きや功労で増減するといったことだったようです。阿曽沼遺臣は山国の武士にしては優秀な人材が多く、後に高禄に与ったものもいたとされています。
この政策は、清心尼によるものともいわれ、当主の直義は南部藩主南部利直から盛岡に遠野屋敷を与えられ、早くから盛岡住まいで利直から直義は若年であるので政務になれるまで手許において色々と教示いたす・・ということで遠野治世はその後見人である前当主の女主人、清心尼と四人の重臣によって執り行われ失政らしいこともなく、むしろ善政を敷き浪人、無頼の徒を取り締まり治安回復にも尽力したといわれ、遠野の女大名と後々までいわれる由縁でもある。
直義は、藩主南部利直に実直で優れた外交手腕等を認められ重用されていたが利直亡き後も、藩主を継いだ南部重直にも慕われ引き続き重用され、遠野城についに帰ることはなかったといわれています。