Згодом навіть у сусідніх парафіях дізналися, що прихожани просили Гайтавера кинути службу в їхній церкві, та він відмовився. Наступної неділі тут стовпилася юрба цікавих із інших приходів — подивитися, що з того всього буде. З'явився пастор і увійшов до храму. Всі парафіяни як один встали й вийшли, покинувши його з чужими, що прийшли сюди задля видовища. Тож священик проповідував їм, як завжди: з несамовитим захватом, який свої вважали святотатством, а чужі сприйняли як цілковите божевілля.
Він не хотів кинути службу. Старійшини попросили церковну раду відкликати його. Але після цієї історії, отих знімків у газетах та іншого жодне місто не прийняло б Гайтавера. Усі запевняли, що нічого не мають проти нього особисто. Просто він невдаха. Таким уже родився. Зрештою люди взагалі перестали відвідувати церкву, навіть ті чужі, що якийсь час приходили сюди з цікавості: тепер його сприймали вже не як посміховище, а як неподобство. Та все одно щонеділі вранці, в належний час він приходив до церкви, йшов до амвона, парафіяни вставали й виходили, а ґаволови збиралися вздовж вулиці й слухали, як він проповідує й молиться в порожньому храмі. А одної неділі Гайтавер застав двері замкнутими. Витріщаки спостерігали, як він, облишивши смикати клямку, стоїть там, так і не схиливши голови, а вздовж вулиці шикуються чолов'яги, які взагалі не ходять на богослужіння, та хлоп'ята, які не розуміють, що діється, однак, тямлячи, що це щось варте уваги, зупиняються й вирячують круглі нерухомі очиці на завмерлого біля замкнутих дверей чоловіка. Наступного дня місто дізналося, що він прийшов до старійшин і відмовився від парафії задля добра церкви.
Місто жаліло священика, радіючи, як ото, бува, жаліють того, кого нарешті приневолили. Звичайно ж, гадали, що тепер він забереться з міста, то й зібрали складчину, щоб міг виїхати та облаштуватися деінде. А він не захотів покинути міста. Байронові змалювали, як не те що обурилися — жахнулися всі, дізнавшись, що Гайтавер купив будиночок на глухій вулиці, де він і донині мешкає. Старійшини знову зібралися на раду, бо ж, казали вони, складчина була на те, щоб виїхати геть, а якщо він потратив ці гроші на щось інше, то це означає, що взяв їх незаконно. Прийшовши до Гайтавера, так і сказали. Перепросивши, він вийшов із кімнати, повернувся з грішми — тою самою складчиною, точнісінько до цента, навіть тими самими купюрами — й наполіг, щоб забрати це назад. Та старійшини відмовилися, а пастор не став пояснювати, звідки взяв гроші на купівлю будинку. Отож наступного дня, як оповідали Байронові, в місті подейкували, що Гайтавер застрахував жінчине життя, а тоді найняв убивцю. Однак кожен знав, що це неправда, — і ті, що пускали чи передавали поговір, і ті, що слухали.
Він так і не виїхав. Одного дня городяни побачили невелику вивіску, яку Гайтавер сам змайстрував, пофарбував та поставив перед оселею, і зрозуміли, що він твердо порішив залишитися. Як і раніше, тримав у себе кухарку — негритянку. Завжди була в нього. Та — оповідали Байронові — як тільки згинула дружина, всі тут же зміркували, що ця негритянка — жінка, що Гайтавер проводить весь день віч-на-віч із жінкою-негритянкою. Ще не захололо тіло дружини в ганебній могилі, як поповзли пересуди. Про те, що він принукував жінку до розпусти, довів до самогубства, бо не був справжнім чоловіком, справжнім мужчиною, а все через оту негритоску. Ото й усе, більше тут нічого не додаси. Байрон мовчки слухав оповідь і думав собі: люди загалом усюди такі самі, але, як виглядає, в маленькому містечку, де важче коїти зло, де важче критися з чимсь, вони винахідливіше вигадують лихе й приписують його кому хоч. Ось і тут досить було пустопорожнього домислу, одного-єдиного нікчемного слова, що пішло по язиках. Одного дня кухарка звільнилася. Розійшлася чутка, що вночі до священика прийшли недбало замасковані молодики й наказали звільнити її. Потім пліткували, що на другий день кухарка пояснила: покинула службу сама, бо хазяїн прохав її робити щось безбожне і протиприродне. Подейкували, що якісь люди в масках пристрашили цю жінку, щоб звільнилася, адже ж майже світлошкіра, а в місті знайдуться двоє-троє чоловіків, які будуть проти того, щоб вона виробляла те, що сама вважає безбожним і протиприродним. Як казав дехто з молоді, вже коли негритоска вважає щось противним Богові й природі, то це справді паскудство. Чи так, чи сяк, а священик не зміг — чи не захотів — знайти іншу кухарку. Либонь, тої ночі ті ж таки люди перестрашили всіх негритянок у місті. Отож якийсь час він варив собі сам, а якось городяни дізналися, що найняв темношкірого кухаря. І тим самим, звісно, доконав себе. Бо у той-таки вечір якісь типи, вже без масок, виволокли цього негра надвір і відшмагали. Вранці, прокинувшись, Гайтавер побачив, що в кабінеті розбито вікно, а на підлозі лежить цеглина з прив'язаною запискою. Під вимогою ще до вечора забратися з міста стояв підпис: ККК — ку-клукс-клан. Та пастор не забрався, й наступного ранку знайшли його в лісі, за милю від міста. Був прив'язаний до дерева й побитий до непритомності.
Відмовився сказати, хто це скоїв. Місто усвідомлювало, що так не годиться, до Гайтавера прийшли кілька осіб і знову спробували переконати його, йому ж на користь, виїхати з міста, бо ж, казали, наступного разу можуть і вбити. Та він не послухався. І говорити не бажав про побої, навіть тоді, коли напросилися подати до суду на кривдників. Ні видати не хотів, ані виїхати. І раптом уся ця справа залагодилася, вляглася, як прикрий вітер. Неначе місто збагнуло, що пастор буде частиною міського життя, поки житиме, і з цим доведеться змиритися. Немовби, думав Байрон, ця історія була спектаклем, у якому безліч учасників, відігравши свої призначені ролі, нарешті можуть мирно жити одне з одним. Священикові дали спокій. Бачили, як він працює на подвір'ї та в саду, ходить з кошичком через руку вулицею до крамниці, заводили з ним розмову. Знали, що він сам собі варить, сам хазяйнує, й невдовзі сусіди знову стали передавати йому їжу, хоча тепер таку, яку давали б злиденній фабричній родині. Та все ж то були харчі, ще й від щирого серця. "Що ж, — розмірковував Байрон, — за двадцять літ люди багато чого забудуть. Мабуть, ніхто, крім мене, у Джефферсоні й не знає, що Гайтавер щодня з ранку до ночі сидить біля вікна. Ніхто не знає, як виглядає зсередини його оселя. Вони й не здогадуються, що я все знаю, а то б, напевно, витягли нас обох і відлупцювали. Бо, як видається, забутливістю сягають не набагато далі, ніж пам'яттю…" Бо є ще одна річ, яку Байронові випало спостерегти й пізнати в неробочий час, відколи він оселився в Джефферсоні.