文字コード判別が失敗していた。原因は青空文庫のテキストを2回読み込むのを一回だけ読み込んでいたことによるもの。更に、ウェブ小説を読み込む場合は強制的にUTF-8に指定していてから元の設定に戻す処理が複雑に絡み合っている。

　なのでコードの失敗をなくすにはウェブ小説の文字コード指定をなくして一本化させるのがいいのだろう。