当サイト運営者の場合、サイトのダウンロードサイズは広告関連でのスクリプトの負担が転送量の大部分を占めています。
特にアドセンス広告の読み込みの容量が大きく、概ね数百KB程度となっている傾向があります。
ひと昔前なら画像が主な負担になっていましたが、最近は画像よりも広告関連のスクリプトの負担の方が大きいです。
例えば、ヤフーのトップページをチェックしてみますと以下のようになっていました。
Script：36リクエスト：「583.4 KiB」
Image ：38リクエスト：「391.1 KiB」
合計で約１MB（1,000KB）程度のダウンロードサイズですが、すべての合計サイズは概ね1,000KB程度に抑えるべきと考えています。
この1,000KBのうち、どの程度までをWEBフォントに使えるのかでいえば、当サイト運営者の場合は300KB以内までと決めています。
WEBフォントは外部サービスからダウンロードするのだから、除外してもいい気もしますが、WEBフォントもサイトのサイトの転送量には入ります。
「バナナはおやつに入りますか？」みたいな議論になってしまいますが、訪問者にとって、それがサードパーティーのものであるか、そのサーバーからの配信であるかは関係なく、実際にかかる転送量が問題になります。
その点、なかにはWEBフォントのみで１MB程度、すべての合計で３MB以上を使用しているケースもありますが、これはモバイル環境のユーザーにとって負担になるはずです。
理想としては、WEBフォントのサブセット化で300KB程度におさえ、画像を300KB程度使用し、その他の広告やテキスト、CSSもろもろで200KB、合計で800KB程度のサイトに抑えるのがベストではないかと考えています。