なぜ部落とヤクザが関係してるのはどうして？

田岡の出身地は居住環境が良さそうなので、被差別部落ではあるまい。
http://watchizu.gsi.go.jp/watchizu.aspx?id=51330705&slidex=0&slidey=0

被差別部落だったとしても、田岡は幼少の時に神戸にやてきた難民なので
被差別部落の地縁を活用した形跡は無い。

それはそうと神戸の番町部落はどうやて形成されたのか知りたい。
なんであんなに規模がでかいのか？