有些事情，即使我們有自由去做，也不會做，而不做的理由是尊重別人。這是人與人之間的基本相處之道，大家都懂的。例如你有自由在人家的婚禮高談闊論新郎新娘如何不匹配，但你不會這樣做，即使你說的是事實；你也有自由將好朋友送給你的生日禮物立時當他面轉送給另一位朋友，但你不會這樣做，即使那禮物是你非常不喜歡或不適用的。
擁護言論自由與批評行使此自由而作之言論，兩者並無抵觸，這同樣是很簡單的道理；如果你的言論有不合情或不合理之處，一句「這是我的言論自由」，即使是說對了，也不表示別人不應該批評你。其實，批評者也是行使他的言論自由，而他的言論同樣可以受到批評。
因此，假如你行使言論自由而說了些極度侮辱別人的話，我也許因此有理由批評你不尊重別人，但我的批評完全沒有針對你的言論自由。假如被你侮辱的人發怒痛打了你一頓，那當然是不該，我會嚴詞譴責，但那不表示我之前對你言論的批評是不恰當的。
法國《查理周刊》屠殺事件當然跟動手打人不可同日而語，那是極度不義的恐怖襲擊，然而，正因為如此，有些人認為如果你批評《查理周刊》的諷刺漫畫太過份、太不尊重別人，或者嘗試探討整件事在文化、宗教、社群關係的來龍去脈，你就是姑息恐怖分子，你就是踐踏言論自由。如果我上文說的合理，這些人的看法就是過份簡單了；當然，《查理周刊》的漫畫是否過份，大有討論餘地，大家可以各自行使言論自由討論下去，互相批評，務求自己的看法合理，這才會顯出言論自由可貴之處。