还有一个问题曾使巴顿大力恼火，愤愤不已。在西西里战役中，盟国空军第一次大规模直接支援地面作战，但由于缺乏实战经验和指挥上的夫误，空中行动屡遭挫折。如前所述，7 月9 日夜间，空降部队进行的第一次行动以失败而告终，空降部队大部分没有抵达目的地。事隔两天，悲剧又一次重演，空降行动再次惨败，23 架飞机坠毁，损失近400 人。盟国空军的行动不仅没有达到预期效果，未能给地面部队提供必要的空中支援，反而多次发生误炸地面部队的事故，巴顿的部队曾多次遭到己方飞机的轰炸，造成了重大损失，巴顿本人也差一点险遭不测。这真是雪上加霜。巴顿气愤他说：“我倒是要问一问这些空军老爷，他们的立场究竟站在哪一边。”
巴顿攻克巴勒莫之后，8 月初挥师东向，进军墨西拿。在这里，巴顿部队陷入了空前的困境。西西里北部沿海地区山石林立，地形复杂，德军装甲部队凭借丰富的经验和有利的地形，进行了拼死的抵抗。巴顿部队每前进一步都要付出极大的代价，部队大量减员，进展十分缓慢。碰巧，此时又发生了多起盟国空军误击美军地面部队的事故，巴顿的司令部也受到空袭的威胁。就在此时，巴顿发现了一个更令他不安的情况，许多显然没有受伤的人被大批运送到后方医院，并且有增无减。这种情况在第1 装甲师最为明显。从战斗记录来看，第1 师是巴顿最信任的一支部队，作战勇猛，敢打敢冲，屡建战功。该师师长艾伦是一员有胆有识的虎将，一向受到巴顿的倚重。但他脾气暴躁，待人傲慢，常常好自作主张。副师长罗斯福是富兰克林·罗斯福总统的儿子，他平易近人和富有人情味的作风深得士兵们的崇敬，也是一个个性很强的军人。两个人之间产生了纠葛，并各有一帮支持者。在他们的溺爱和袒护下，该部队居功自傲，目无法纪，蔑视其它部队，并产生出一种自怜情绪，许多人不断跑医院，蹲病房。他们的行为在全军造成了极恶劣的影响，使巴顿不得不分心去处理这一问题。最后，巴顿打算忍痛割爱，将他们两人同时解职。
以上一系列问题已经闹得巴顿心烦意乱了，而英国BBC 广播电台的无中生有更使他怒火中烧。英国的广播充满了狭隘的民族主义情绪，他们无事生非，大肆宣扬：在西西里岛，英国官兵正在浴血奋战，承担了大部分战斗，而美军却躲在巴勒莫豪华的王宫里，“一边喝葡萄酒，一边洗海水澡”。在西西里炎热的夏季里，一身“热血与豪胆”的巴顿就是在这种煎熬之中度过的，巴顿把这称之为“一场剧烈的身心折磨”。他已经筋疲力尽了，忍耐力和自我控制的能力都达到了极限，数不清的矛盾冲突开始使他的心理天平倾斜了。打耳光事件就是在这时发生的，一发而不可收拾。
8 月3 日，对于第1 师的混乱情况记忆犹新的巴顿在通往前线去的路上发现了指示通往第15 后送医院去的路标，他马上叫司机米姆中士把车开到医院去。本来，这次偶然的探访与往常没有什么不同——真诚的问候、深切的同情以及赠送紫心勋章等等。但正当他热情洋溢地与伤病员交谈的时候，他发现了艾伦部下一个名叫查尔斯·库尔的士兵，蹲在帐篷附近的一个箱子上，显然没有负伤。巴顿问他为什么住院。他回答说：“我觉得我受不了了。”医生说他得了“急躁型中度精神病”，这是第三次住院了。巴顿听罢大怒，多少天积累起来的火气一下子发泄出来，他痛骂库尔，用手套打他的脸，并大声吼道：“我不允许这样的胆小鬼躲藏在这里，他的行为已经损坏了我们的声誉！”巴顿的所作所为使在场的医护人员都感到十分震惊。
由于当时战事吃紧，这一事件没有立即引起反响，巴顿也没有把它当回事，只是在日记中写道：“我遇到了一个胆小鬼，我把他赶出了医院。”8 月5 日，巴顿向高级军官发布了一份备忘录：
我注意到，一小部分士兵跑到医院，说自己神经紧张，不能参加战斗。这些人是胆小鬼，砧污了我军的荣誉，对于那些留守阵地坚强地承担作战危险的同志也是一种污辱，而他们却把医院当作避难所。
你们要采取措施，此类人员不要送往医院，而是在各自的部队处理。那些面对敌人胆怯而不愿作战的人员将由军事法庭进行审判。
但事情并没有就此结束。战局仍然不乐观，敌人按预定方案边打边退，第1 师似乎在被敌人牵着鼻子走，进展极其缓慢。巴顿人为，艾伦及其第1师已经使他倒够了霉，现在必须利用北翼的恃拉斯科特的第3 师进行决定性的进攻。但是，在这条沿海路线上，德军已经控制了所有的山脊，占据了有利的地理位置，使第3 师的陆路进攻严重受挫。不得己，巴顿命令特拉斯科特进行两栖登陆战。但9 日，德国飞机将一艘用于运送登陆部队的登陆艇炸毁，使行动延误了24 小时。到10 日上午，巴顿认为，事情已经不能再拖延了，必须在当天晚上执行登陆计划。就在这天上午，巴顿下令解除了艾伦和罗斯福的职务。巴顿认为，对于一位职业军人来说，这仅次于被判处死刑。带着这种焦虑不安的心情，巴顿于中午驱车赶往前线。
下午1 时30 分，巴顿在行车途中发现了通往第93 后送医院的路标，马上命令司机把车开过去。于是又发生了下面的一幕。
巴顿正在与士兵们进行通常的闲谈，赞扬他们的勇敢精神和业绩。但凡是熟悉巴顿的人都发现，他神情紧张，不像往常那样热情诙谐，突然，他发现一名未受伤的士兵住在医院里，顿时变得冷酷无情。此人叫保尔·贝内特，患有“炮弹休克症”。他缩成一团，哆哆嗦嗦地回答巴顿的问话：“我的神经有病，我能听到炮弹飞过，但听不到它爆炸。”说罢便哭泣起来。巴顿勃然大怒，大声叫骂：“他妈的，你的神经有毛病，你完全是个胆小鬼，狗娘养的。”接着，巴顿打了他耳光，吼道：“你是集团军的耻辱，你要马上回去参加战斗，但这大便宜你了，你应该被枪毙。事实上，我现在就要枪毙你！”说完，巴顿抽出手枪，在他眼前晃动。当巴顿走出病房还在向医生叫喊，要他们把狗杂种送出医院去。
以上便是打耳光事件的来龙去脉。总之，巴顿之所以采取这种粗鲁幼稚的举动，从而酿成了他的个人悲剧，除了他自身的严重缺陷之外，主要是由于他所承受的来自各方面的压力太大，远远超出了他的承受能力和忍耐力，使其心理的天平急剧倾斜，最终完全失去了控制，导致了他歇斯底里大发作，使其性格中的所有弱点均暴露无遗。
除此之外，还有一个因素对于巴顿的粗鲁举动有直接影响：他对“战争恐惧症”问题缺乏科学的认识和理解。从严格的意义上说，“战争恐惧症”是在二次世界大战中才真正得到了医学界的认可。医学家认为，在战争中，所有的人都会在勇敢与胆怯之间摇摆。当出现轻微的恐战迹象时，短暂的休息就可以使人得到恢复。但如果神经紧张超过了限度，任何人都会垮掉。当然，这个问题很复杂，一般说来，训练有素、纪律严明和教育良好的人要比智力低下、心理失衡的人具有更强的控制恐惧的能力。因此，对待“战争恐惧症”不能采取简单粗暴的做法，特别是高级将领。对于部队，他应该采取科学的办法保持和提高将士们的战斗精神。对于患有战争恐惧症的人，轻者，应遵照医嘱使其得到必要的调整，重者则必须尽快送医院，这一方面可以使病人及时得到医治，另一方面又能防止恐惧情绪在军中蔓延。但是，巴顿的军旅生涯植根于第一次世界大战之中，他明显地带有那个时代军人的痕迹和偏见，他认为，一个军人必须英勇无畏，视死如归，不能表现出丝毫的动摇和怯懦，如果一个人的精神垮掉了，那么他就是个“上帝诅咒的胆小鬼”。在他的眼中，在战场上畏缩不前和开小差的人都是军人中的败类，对他们采取严厉的惩罚是为了把他们从灾难中拯救出来，因此不仅是公正的，而且是人道的。正是由于他采取了简单粗暴的举动，由此引起了严重的后果，几乎毁了他辉煌的军旅生涯。
“打耳光”事件发生后，巴顿内心也感受到自责，但由于战事紧张，他很快就把这件事忘掉了。但事情的发展完全出乎他的意料。
两天之后，第2 军参谋长基恩少将和军医官阿内斯侍上校来见布莱德雷。阿内斯恃向布莱德雷汇报了“打耳光”事件的详细经过，并递交了一份有关报告，布莱德雷对此十分震惊，忙问基恩是否还有人知道这份报告。当得知无人知晓后，马上指示基恩。“用信封把文件封好，写上只能由我和你启封，然后把它锁在我的保险柜里。”虽然布莱德雷对巴顿的做法十分反感，并有责任向艾森豪威尔汇报此事，但他选择了忠于巴顿的作法，他认为，应该遵循“不要相互残杀”的原则。
但没有不透风的墙。很快，巴顿打人的消息就传遍了第7 集团军，新闻界也议论纷纷。阿内斯特上校见布莱德雷不愿介入此事，便通过其它途径把报告直接交给了艾森豪威尔。
艾森豪威尔看到报告后感到既惊讶又棘手：此刻，巴顿将军正以征服者的姿态进入墨西拿城，全世界都在向他欢呼，意大利战场上还有许多更艰巨的任务等待他去完成。如何在这一时刻去处置一个十分特殊的人物呢？为了慎重起见，艾森豪威尔将此事严格限制在内部范围，他指示卫生顾问佩林·朗中校单独进行一次调查，调查结果只向他一人汇报。同时，他以个人名义给巴顿写了一封信，严厉批评了巴顿的“卑鄙”行为，并责令巴顿：如果情况属实，必须去向被打者道歉，向所有在场的医护人员和伤病员道歉，而且还要向整个第7 集团军，一个部队一个部队地道歉。事后，有人曾责怪艾森豪威尔的这一处理方式是轻描淡写。但他们不知道，对巴顿这样一位骄傲自大并刚刚取得重大战果的将军来说，这无异于一种最严厉的惩罚。事后，艾森豪威尔立即召见新闻界的代表，通报了事件的经过和采取的措施，并诚恳地要求他们，鉴于目前的军事形势和可能在国内产生的影响，他们不要把此事透露出去。与会者接受了这一请求。
接到艾森豪威尔的信后，巴顿开始感到了问题的严重性，他在日记中写道：“显然，我的行动太轻率了，而且对情况的了解也很不够。我的出发点是正确的，因为谁也不能容忍装病逃避的现象存在，它会像传染病一样蔓延开来。我坦率地承认，我的方法是错误的，我将尽力改正。”
巴顿认真执行了艾森豪威尔的命令。在一个星期日的上午，被打士兵以及与此事有关的人员被召集到巴顿司令部。巴顿首先为自己的冲动行动表示了歉意，井同与会者一一握手。然后他婉转地解释说：在第一次世界大战时，他的一个朋友在前线打仗，因怕死而开了小差，后来后悔自杀了，“如果当时有人粗暴地对待他，打他几个耳光使他清醒，他是可能得救的”。在场的人都对巴顿表示了谅解。事后，巴顿致信艾森豪威尔，表示悔改之意，他写道。“你对我有知遇之恩，本应为你赴汤蹈火，然而却给你惹来了麻烦，我万分悔恨、内疚和痛苦，”但他声称对那两个士兵“绝无苛刻或残忍之意”，他的目的仅仅是“设法使他们重新认识作为男子汉和军人的职责”。他再次用第一次世界大战中的那位朋友的自杀事件为自己辩解，认为自己是为了“拯救一个不朽的灵魂”而“不适当地使用了这种疗法”。
无疑，巴顿说的是真心话。但他的坦率辩解却把艾森豪威尔置于极为窘迫的境地。如果按照某些人的要求去做，巴顿很可能被送上军事法庭，受到降职处分以至失去继续参战的机会。但艾森豪威尔清醒地看到，巴顿的行为虽然是残酷而下公正的，应该给以处分，但是，巴顿已经用事实说明自己是迄今为止盟军中最出色的地面战斗指挥宫。而目前，他手头用得上的美军将领寥寥无几。所以，艾森豪威尔决心要保护巴顿，他认为，这符合盟军 的最高利益，也可以留给巴顿一个改正错误的机会。这一决定充分显示了艾森豪威尔卓越的远见和睿智。
在公开道歉后的几个星期里，巴顿在巴勒莫王宫的官邸中闭门不出，他认为，对于一个胜利者和忏悔者来说，这是一个既适应又谨慎的做法。直至9 月初，他才在接待美国红十字会主席诺曼·H·戴维斯的访问中公开露面。他笔直地站在讲台前，不无戏谑地对与会的官兵们说：“我想我还是立在这里，让大家青一看，我是不是你们想象的那样是一个王八蛋！”官兵们向他报以热烈的掌声和欢呼，气氛十分融洽。
事情到此似乎已经结束了。但11 月21 日，随军记者德鲁·皮尔逊违反诺言，在美国广播公司的新闻节目中披露了这一事件。由于他断章取义地利用间接得来的材料，并加以夸张，很快便在美国社会和政界引起一场轩然大波，各界人士纷纷给国会写信，要求国会对这一事件进行彻底调查，把巴顿赶出军队，并谴责艾森豪威尔等人袒护巴顿的“罪行”。但是，美国陆军最高领导层在这个问题上的立场是一致的，他们对巴顿所犯的错误表示遗憾和愤怒，认为必须使他接受这一教训，改过自新。但同时，他们决心使巴顿继续参加战争，发挥其不可替代的作用。陆军部长史订生是巴顿的老战友，他指出，对这一事件的处理要做“严肃的军事考虑”，并明确他说，保留巴顿的高级指挥职务是“符合战争的最高利益的”。陆军参谋长马歇尔不仅支持史汀生的主张，而且赞成把巴顿的永久军衔晋升力准将（巴顿的永久军衔原力上校），并竭力为他辩护。对巴顿命运最关切的还是艾森豪威尔，因为他是巴顿的顶头上司，而巴顿则是他不可多得的猛将，他利用各种方式和场合来做挽救巴顿的工作。
11 月24 日，应陆军部的要求，艾森豪威尔发出了关于这一事件的最全面的报告，这是有关该事件的最权威的官方文件。报告详细介绍了事件的经过和他所采取的措施以及巴顿在改正错误方面所做的努力，然后郑重地指出：“必须记住，一方面巴顿在这些具体事件中的行为是不可原谅的，了解此事的军官都莫不感到气愤；但另一方面，巴顿本人爱护、鼓励并在物质上帮助士兵，这方面的事例不胜枚举。其结果是，在整个西西里战役中，第7集团军始终保持着高昂的士气。我亲自监督了这一事件的全部调查，并采取了在当时看来是适当的步骤，因为我相信，巴顿在任何进攻战中，都可以发挥巨大的作用，而在这种进攻战中，作为一个集团军的指挥官具有忠诚、勇敢和一往无前的精神是非常重要的。……据多次给我的报告说，巴顿最近每次在他部队的士兵面前公开露面时，他都受到雷鸣般的鼓掌欢迎。”由于各方面的努力，巴顿仍然留在艾森豪威尔的麾下。但是，就艾森豪威尔来说，巴顿已经达到了他的顶峰。他后来在给马歇尔的信中说明了自己的这一观点：“在任何情况下，我不会把巴顿提升到集团军司令以上的职务。”虽然后来有了集团军群司令的空缺，但艾森豪威尔从未考虑到巴顿，即使英国人在秋天一再施加压力，要求美军加强意大利的行动时，美国军方仍不愿以巴顿取代克拉克。对此，巴顿的传记作家H·埃塞姆愤愤不平地指出：“美国选拔欧洲战区最高将领的标准�