水軍出身的羅大綱毫不示弱，率領七八條義軍的小船應戰。他非常沉著，指揮小船快速在清軍大船中間穿插，並丟擲火瓶。

清軍戰船濃煙滾滾，損失嚴重，數百人落水。剩余的船只被羅大綱引誘到小刀會炮台的射程內，又被擊沉數艘。

這一下清軍的船隊全亂了，羅大綱抓住戰機重新反擊。重創清軍戰船，並俘獲了一艘炮艦。

清軍總兵實在沒有辦法，帶領殘軍敗將逃入外國碼頭，這才躲過一劫。但經過這一戰，清軍的水軍被殺得完全沒有了戰斗力，再也不能單獨出戰了。

但上海縣城的危機依舊沒有解除，清軍巡撫吉爾杭阿和總兵虎嵩林率領一萬多清軍包圍了上海縣城。

並在縣城西北發起進攻，先頭部隊幾百人吶喊著向起義軍沖擊，拋擲大量的火球等其他投擲物，然後樹起雲梯登城，已有七八人登上了城牆，同時大量清兵沖出軍營，用火絹槍、火銃和其他武器向城牆射擊。起義軍吹響螺號，在羅大綱等人的指揮下奮勇還擊，向敵人投擲火彈、火罐、灰包和巨石，戰斗非常激烈。

登城的敵人很多打得墜落下去，已上城牆的敵軍寡不敵眾，當場被擊斃數人，其余見勢不妙，跳牆而逃。在起義軍的猛烈火力攻擊下，敵人只得撤退。與西北面清軍相呼應，南面清軍也展開攻勢，重炮轟城，轟塌城垛多處，並施放火箭，點燃城上的起義軍帳房。

與此同時，總兵泊承升率領剩下的戰船，在小東門碼頭一帶，向起義軍炮台偷襲。起義軍以炮火還擊，炮聲轟轟，連綿不絕，一直持續了幾個小時，最後敵船退往蘇州河口。

這一天，起義軍經過浴血奮戰，打退了敵人從三個方面的進攻，保住了上海縣城。

但清軍不甘心失敗，在城西四明公所內偷偷修築炮台，運來一門門強火力的大炮。同時清軍又在營盤內造好許多高台，與城牆一般高，頂上作成傾斜面，以便作戰時把這些高台放在城牆邊登城。清軍還在高台上面演習攻擊，這些高台，實際上是一種較穩固的雲梯。經過一番准備和策劃，清軍開始了大規模的連續攻城。

四明公所的炮台安裝完畢，清軍便發炮轟城，同時在縣城的北門和南門外攻城，起義軍頑強抵抗，打退了敵人的一次次進攻，打死敵人19人，打傷多人。

次日大霧彌漫，清軍攜帶雲梯、噴筒，准備乘霧襲擊縣城，起義軍也裝扮成清軍模樣前往襲擊四明公所炮台，兩軍相遇展開激戰，起義軍邊戰邊退，直到日出霧散，才返回城中。這次戰斗，起義軍擊斃清軍千總陳鎮川等人，打傷數十人，自己也有些損失。

之後連續幾日，清軍從北面、西面和南面向上海縣城發動全面攻擊，在兩個小時內耗盡所有彈葯。起義軍在多於自己數十倍敵人的攻擊下，英勇地堅守著陣地，向清軍發起數次沖鋒，最後打退了清軍的進攻。

清軍連續七晝夜的進攻，妄圖奪取上海縣城，在起義軍的嚴密防守和猛烈反擊下，清軍屢遭失敗。

清軍惱羞成怒，在城郊的燒殺搶掠，犯下了滔天罪行。上海縣城東郊，原是繁華的商業區，民房店鋪棧號相連。吉爾杭阿指揮清軍在這里放火，使小南門至大、小東門一帶的2000多間房屋被燒毀。原來人煙稠密，非常富庶的東郊，竟變成凄涼無人的地帶了。清軍趁火搶劫，大批贓物被他們無恥侵占，發了一筆戰爭財。

經過這么多天的猛攻，清軍都不能攻破上海縣城，通過戰場的磨練和羅大綱等將領的指揮，小刀會的起義軍也迅速成長起來，不再是一支孱弱不堪的隊伍，而是一支意志堅定，能打硬仗的軍隊。