其中，許冠文一人分飾三角，故事通過麻將館中的三姑六婆的八卦聊天來貫穿全篇，而影片也圍繞著一個“騙”字展開。
第一章：“聲”
故事從一排街面全是雀館的夜景中開始。
雀館中，人聲嘈雜，無論是新手還是雀迷們都在夜晚中一試手氣。
三姑六婆們的嘴里開始街頭巷尾的議論，許冠文飾演的第一個角色杰美芳登場。
杰美芳自詡為名流人物，他是影評人、馬評人，雖然每天游戲在光影、賽場之間，但他實則并沒有那么光彩。
他甚至去小錄像館看少兒不宜的錄像帶，卻并不掏錢買票。
銀幕旁的字樣“鹽氏出品，必屬咸片”頗為引人注目。
李翰祥太調皮，強力吐槽邵氏電影每部的開場字樣：“邵氏出品，必屬佳片”。
杰美芳行為怪誕，亂寫影評、亂派評馬貼士，卻躲不起胡錦的挑逗，慘被戲弄。
盡管自詡為“影評人”，但他連《巴黎最后的探戈》和馬龍白蘭度都不知道。
《香港最后的探戈》，李翰祥還真會玩。
杰美芳被胡錦戲耍，第一個故事便是“聲”。
第二章：“色”
許冠文的第二個角色是名醫吳新緊，他平素道貌岸然，一副正人君子樣，實則到處沾花惹草，連妻子都對他不放心。
因為他四處留情，結果被白小曼飾演的病人余娟娟設局“仙人跳”，伙同大狗熊、大胡子勒索。
原來他的老婆也是幕后黑手，結果弄得吳人財兩空。
偷香的代價太大，第二個故事講述的是“色”的騙局。
第三章：“犬馬”
許冠文的第三個角色是“江郎”，江郎才盡，江郎“財”盡，因為在澳門賭場揮霍了老大的四萬塊，怕被人追殺，只能一走了之。
黔驢技窮，人如其名，名副其實的“江郎才盡”。
《聲色犬馬》李翰祥的代表作之一 ，與其前作《風流韻事》、《一樂也》一樣，講述的人們追求娛樂而發生的風流趣事。
在雀館三姑六婆的口中，許冠文流連于光怪陸離的大千世界之中。
幾個小故事，劇本都很簡單，看似松散，但形形色色的人物，細節豐富，讓故事樂而不淫、充滿警世意味。
李翰祥的電影能拿獎果然不是蓋的。
正是因為《聲色犬馬》講述“騙”的成功，所以才有了1976年程剛的《賭王大騙局》，為后來的《賭神》系列影片開了先河。
最值得一提的是這部影片的女主白小曼，原名胡瑞梅，是中美混血兒，在影片中的大膽出演讓她一時之間人氣蓋過前輩胡錦、恬妮，迎來事業的高峰期。
因為這部影片，白小曼被邵逸夫贊許為未來的天皇巨星，更是在古裝大制作《傾國傾城》及《瀛臺泣血》中定為珍妃的演員。甚至與美國華納公司合作新片，也特地為她安排角色。
但影片還沒有上映便自殺身亡，年僅十九歲。
白小曼自殺身亡的原因沒有定論，至今撲朔迷離，她去世的時候才18歲，離開校園也就才兩三年的光景。
但就是如此短暫的經歷，成為一段充滿傳奇的軼事，這在香港電影圈乃至世界電影圈都實屬罕見。
處女作亦變成最后遺作，一顆被重點培養的新星隕落。
聲色犬馬，流連忘返，或許，就是這光怪陸離的聲色世界，扼殺了這顆種子。
