私はFrontPage 2000から使っていますが、それぞれのバージョンによってサポートされている機能が異なります。以下、各バージョンの違いについて説明します。
つまり、FrontPage 2003が一番買い!ですね。
刺客(?)であるDreamweaverでは、選択した複数のHTMLファイルを検索対象として設定できず、一つのファイルまたはフォルダ単位で検索できるようです。この点はFrontPage
2003の方がより細かく設定ができて便利かもしれません。
FrontPage 2003については、別途すでに「FrontPage 2003でホームページ作成(上級編)」で解説していますので、ここでの解説は割愛させていただきます(笑)

まず、フォルダ一覧で修正したいファイルを選択します。複数選択でも全然OKです。
その後、メニューバーより[編集]→[置換]をクリックします。

検索する文字列、置換後の文字列にHTMLタグを入力しておきます。
検索対象は、「選択したページ」、「HTMLビューで検索」にチェックを入れ、[すべて置換]ボタンをクリックします。
すると、このようなメッセージボックスが表示されます。

思い切って[はい]ボタンをクリックします。

しばらくすると、このような結果が表示されました。
操作方法、設定方法等で困ったら、Expression Web & FrontPage Users Forum に投稿してください!