SprocketはJavaScriptを読み込んで動作しますので、表示速度に一定の影響が出る可能性があります。
しかし、Sprocketは非同期タグとして動作しますので、Webサイトのパフォーマンスへ影響を与えることはほぼありません。お客さまのWebサイトをレイヤー1と例えるなら、Sprocketはレイヤー2で動作しているとイメージしてください。
また、SprocketタグはCDNを使って常に最適な配信になるようチューニングを行っています。各種ファイルは圧縮して転送ならびに最適なキャッシュ設定を行い、画像ファイルも適切なサイズかつ圧縮するなど、可能な限り高速化に努めています。
ページの表示速度（ボトルネック）について詳しく知りたい場合は、Googleが提供する「PageSpeed Insights」や「WebPageTest」を利用することをおすすめします。パフォーマンスを改善すべき箇所を発見する一助になります。